신호처리를 이용한 단말기의

모터 진동 측정 고도화

1 /32
▪ CNN : 행렬의 일반적인 곱연산 대신 컨볼루션을 사용하는 신경망

▪ IMAGENET
• 이미지 인식 경연대회
• 2011년까지는 인식률이 75%를 못 넘었었음
• 2012년 CNN을 활용한 Alexnet 등장, 뛰어난 성능 발휘

2 /32
■ DCASE (Detection and Classification of Acoustic Scenes and Events)
• 소리 인식 경연대회
• 2013년부터 시작, 2016, 2017, 2018, 2019, 2020, 2021년 7회째를 맞이하고 있음
• NMF 등의 기법에서 2017년 부터 CNN을 활용한 기법으로 바뀌어 나가는 것을 확인할 수 있음

Acoustic Scene Classification

2020
Sound Event Localization and Detection
Unsupervised Detection of
Sound Event Detection and Separation in Domestic Environments
Anomalous Sounds for
Urban Sound Tagging with Spatiotemporal Context
Machine Condition Monitoring Automated Audio Captioning

2021
Unsupervised Anomalous Sound
Detection for Machine Condition
Monitoring under Domain Shifted
Conditions

3 /32
■ Data Set
• 10s length audio that includes both a target machine's operating sound and environmental noise
ToyADMOS : Toy Anomaly Detection in Machine Operating Sounds
✓ Toy-car
✓ Toy-conveyor

MIMII Dataset
Sound dataset for Malfunctioning Industrial Machine Investigation and Inspection
✓ Valve
✓ Pump
✓ Fan
✓ Slide rail

4 /32
■ System Characteristics

대부분
Log-mel
energies 사용

MobileNetV2, VAE, CAE, CNN

ResNet50 등 이미지 인식에
사용되는 인공신경망이 사용됨
5 /32
■ Characteristic of Sound
1-Dimensional Data (Time or Frequency)

Time Analysis Frequency Analysis

FFT
6 /32
■ STFT ■ Spectrogram
Short Time Fourier Transform

Time

FFT FFT FFT

Amplitude
7 /32
■ Log-amplitude ■ Mel-Spectrum
소리의 크기에 대해 비선형성 반영 소리의 높낮이(주파수)에 대해 비선형성 반영

Ex) sensitivity
• 100Hz and 200Hz
• 1000Hz and 1100Hz
• 10000Hz and 10100Hz

8 /32
■ Model Block Diagram
Motor Sound Sample Preprocessing Spectrogram Log-Mel Energy

Fully connected layers

output
CNN Feature Extraction Classification

9 /32
 “행복한 가정은 모두 비슷한 이유로 행복하지만
불행한 가정은 저마다의 이유로 불행하다”

■ Unsupervised Learning
• 불량률이 매우 작은 경우(ex <2%) 각각의 경우에 대한 충분한 샘플 데이터 확보가 어려움

• 클러스터링을 통해 분류

• One-Class SVM
: 정상 샘플들을 둘러싸는 discriminative boundary를 설정하여 비정상 샘플 탐지

10 /32
■ Autoencoder
Diff

Fully
Reconstructed
Motor Sound Spectrogram Encoder connected Decoder
Spectrogram
layer

11 /32
■ Hyper-Parameter Optimization
▪ Sampling rate 1초에 몇개의 Data
▪ Mel-band
▪ Window size
▪ Hop-length

주파수
축을
몇개로
축소?

몇 초 범위로 STFT?
몇 초 단위로 STFT?

12 /32
■ Data Augmentation
• 기존의 Data로 새로운 Training data 생성
• Dataset의 양과 Diversity 를 증가시킴

■ Spectrogram Augmentation
Block out sections of the spectrogram
Time Mask

Freq
Mask

13 /32
■ Raw Sound Augmentation

Time Shift Add Noise

14 /32
1. Introduction
1.1. Brief Introduction
1.2. Achievement List

2. Project Overview
2.1. 연구과제 의뢰서
2.2. Vibration Motor on Smartphone
2.2. Traditional Sound Analysis

3. CNN based Sound Classification

3.1. CNN
3.2. DCASE
3.3. How is it possible
3.4. Spectrogram
3.5. Log-Mel Energy
3.6. CNN Based Sound Classification Model
3.7. Unsupervised-Learning
3.8. Parameter Optimization
3.9. Data Augmentation

4. Project-Plan
4.1. Project-Planning
4.2. Expected Problem
3.9. Implementation

5. Conclusion

15 /32
■ Baseline 인공지능 모델 시연

• MobileNetv2 기반의 Baseline 모델 구현 •성능

ID AUC pAUC
0 0.54 0.49
2 0.73 0.54
4 0.62 0.53
6 0.74 0.56
Avr. 0.65 0.52
AUC : Area under the receiver operating
characteristic (ROC) curve

■ 인공지능 장비
• GeForce RTX3090

16 /32
■ Training Dataset Preparation <Example data set, 16bit, 16khz>

▪ Performance of traditional sound analysis

(Require Deep-Learning ??)

▪ Required data segment

✓ normal condition : about 1,000 for each type
✓ Anomalous condition (only for Test) : about 100
✓ background noise recorded in real case
✓ The larger, the better !!

▪ Recording quality
✓ SNR(Signal-to-noise ratio)
✓ AGC(Auto gain control)

17 /32
■ Implementation
▪ Call Python module by LabVIEW Node
▪ Porting to LabVIEW by DeepLTK

18 /32
▪ Industrial AI = Big blue ocean of opportunities and real impact
for both of Research and Business area

▪ AI for vibration motor analysis can become a good starting point

✓ Average Europe : 114

✓ Average America : 103
✓ Average Asia : 118
✓ Average World : 113

19 /32