진동 및 음향 신호를 활용한 특징 융합 기반 모터 고장 진단 기법

Ⅰ. 서 론

산업 현장에서 전기 모터는 제조, 에너지 생산, 운송 등 다양한 분야에서 설비의 핵심적인 구성 요소이다. 전기 모터의 고장은 설비의 생산 효율성과 운영 안정성을 저하시킬 수 있으며 예기치 않은 생산 중단은 상당한 경제적 손실을 초래한다. 따라서 전기 모터의 고장을 조기에 진단하고 신속히 대응하는 기술은 산업 현장 전반에 걸쳐 필수적인 기술이다.

기존의 모터 고장 진단 방식은 주로 진동, 소음, 전류 신호 등 물리적 신호 분석을 사용하였다[1],[2]. 이는 숙련된 기술자의 경험과 직관에 크게 의존하였으나 고장 징후를 사전에 감지하고 예방하는 데 유용한 역할을 해왔다. 하지만 복합적인 고장 원인에 의해 고장이 발생하거나 다양한 환경 변화가 발생하는 경우에는 진단 정확도에 한계를 보인다. 예를 들어, 주파수 분석 기법인 빠른 푸리에 변환(FFT) 또는 시간 영역에서의 포락선(envelope) 분석과 같은 전통적인 방법은 모터 고장의 초기 징후를 감지하는 데는 유용하지만, 복합적인 고장 원인이나 신호 측정 환경이 변화할 때에는 정확도가 저하되는 한계가 있다[3],[4]. 또한, 기술자의 주관적 판단에 의존하므로 일관성이 떨어지고 대규모 데이터를 효율적으로 처리하기 어렵다. 이러한 한계를 극복하기 위해 최근에는 인공지능 기술이 모터 고장 진단에 주로 적용되고 있다[2]. 딥러닝 기술은 대규모 데이터를 학습하여 복잡한 패턴을 자동으로 추출함으로써 다양한 고장 유형을 높은 정확도로 식별할 수 있다. 특히, 합성곱 신경망(CNN)과 같은 딥러닝 모델은 진동 및 소음 데이터를 효과적으로 분석하여, 정확한 고장 진단이 가능하다[5]. 이러한 인공지능 기반 고장 진단 기술들은 기존의 물리적 신호 분석 방식의 한계를 극복하였으며, 고장 징후를 더 정확하고 신속하게 파악할 수 있다.

딥러닝 기반 모터 고장 진단 기술에는 CNN 모델이 주로 활용되었다. CNN 모델은 진동 및 소음 데이터를 분석해 복잡한 문제를 효과적으로 해결함으로써 고장 진단에 뛰어난 성능을 보인다. 하지만 기존의 고장 진단 CNN 모델들을 실제 산업현장에 적용할 때 제약이 있다. 딥러닝 모델의 학습과 추론 과정은 대규모 데이터를 처리하고 복잡한 네트워크 구조에서 다중 연산을 수행해야 하므로 이를 효율적으로 처리하기 위해서는 GPU와 같은 고가의 병렬 처리 장비가 요구된다. 또한, 데이터 처리 과정에서 많은 메모리와 연산 자원이 필요하므로 실시간 모니터링이 요구되는 분야에서는 데이터 처리 지연 문제가 발생할 수 있다.

4차 산업혁명의 발전과 사물 인터넷(IoT)의 확산은 산업 자동화를 가속화하였다[6]. 이와 더불어, 임베디드 디바이스의 성능 향상으로 인해 산업현장에서 데이터 처리와 분석을 실시간으로 수행할 수 있게 되었다. 임베디드 디바이스는 산업 현장에서 수집되는 센서 데이터를 바로 처리함으로써 신속한 대응이 가능하며, 서버로 데이터를 전송하는 데 따른 지연을 최소화하여 처리 효율성을 높일 수 있다. 이러한 임베디드 디바이스는 제한된 자원 환경에서도 데이터를 현장에서 직접 처리하여 고장 진단을 수행함으로써 실시간 진단을 가능하게 한다. 이는 기존의 딥러닝 기반 고장 진단 방법들이 클라우드 서버로 데이터를 전송하여 처리하는 것에 비해 지연 시간을 줄이고 서버 인프라에 의존하지 않아 유지 비용을 절감할 수 있다. 그러나 임베디드 디바이스는 제한된 메모리와 낮은 연산 성능을 가지고 있어 대규모 데이터를 처리하거나 복잡한 딥러닝 모델을 실행하는 데에는 어려움이 있다. 따라서, 높은 연산 자원을 요구하는 기존의 고장 진단 딥러닝 모델들을 임베디드 시스템에 적용하기에는 한계가 있기 때문에 이를 해결하기 위한 경량화된 모델 개발이 필수적이다[7].

본 논문에서는 딥러닝 기반 모터 고장 진단 기법의 연산 복잡도를 줄이면서도 높은 정확도를 유지할 수 있는 경량화된 특징 융합 기반 고장 진단 모델을 제안한다. 제안하는 기법은 CNN 모델의 필터 수, 입력 데이터 크기를 줄여 연산량을 감소시키고, 진동 및 음향 신호 데이터를 동시에 사용하는 특징 융합 기법을 통해 각 데이터의 특징을 결합하여 정확한 고장 진단이 가능하도록 한다. 단일 센서 데이터만 사용하는 기존의 모터 고장 진단 기법에 비해 파라미터 수와 연산량을 줄여 임베디드 환경에서도 고장 진단을 효과적으로 할 수 있다. 본 논문의 구성은 다음과 같다. 2장에서는 기존의 인공지능 기반 기계 고장 진단 기법을 살펴보고, 3장에서는 데이터 융합 기법과 제안하는 기법인 특징 융합 모델에 관해 기술한다. 4장에서는 기존에 많이 사용되는 기법인 단일 센서 데이터를 사용하는 고장 진단 기법과 제안하는 특징 융합 모델 기반 고장 진단 기법의 진단 정확도와 실용성을 비교 및 분석하고, 5장에서는 결론 및 향후 연구를 기술한다.

Ⅱ. 관련 연구

모터는 고정자, 회전자, 베어링 등으로 구성되는데 주요 고장 유형으로는 고정자 고장, 회전자 고장, 베어링 고장, 정렬 불량, 전압 불균형 등이 있다. 이 중 베어링 고장이 전체 고장의 약 40%를 차지하며, 가장 빈번하게 발생하는 고장 유형이다. 표 1은 모터의 고장 유형에 따른 발생 분포를 보여준다[8],[9]. 상대적으로 베어링 고장이 다른 고장에 비해 발생 확률이 높아 베어링 고장을 조기에 감지하고 고장 유형을 판별하는 기술이 많이 연구되고 있다[10].

Table 1.

Types of motor faults and occurrence distribution

모터 고장을 효과적으로 진단하기 위해 기존에는 스펙트럼 분석, 시간-주파수 분석, 복조 변환 등 신호 처리 기반의 고장 진단 방법이 주로 사용되었다[1],[2]. 그러나 신호 처리 기반 기법들은 환경 변화와 노이즈에 민감하여 정확도에 한계를 보였다[11]. 이를 극복하기 위해 딥러닝 기술이 모터 고장 진단에 도입되었으며, 음향, 진동, 전압 등 다양한 신호 데이터를 활용하여 높은 정확도를 제공하고 있다. 음향 방출 신호를 입력으로 STFT 특징 추출 기법을 사용하여 스펙트로그램으로 변환한 후, VGG 모델을 적용하여 모터의 고장 진단을 수행하여 90% 이상의 정확도를 제공하는 기법이 연구되었다[12]. 모터의 진동 신호를 Denoising Auto Encoder를 사용하여 전처리하고 One Class-Support Vector Machine을 사용하여 모터의 고장 진단을 수행한 연구도 진행되었다[13]. 또한, 연구 [14]에서는 연속 웨이블릿 변환을 통해 스펙트로그램을 생성 후 LSH 어텐션 모듈을 추가한 LSH-Swin 트랜스포머 모델을 사용하여 정확한 모터 고장 진단을 수행하였다.

단일 센서 데이터뿐만 아니라 다중 센서 데이터를 융합하는 기법도 활발히 연구되고 있다. 데이터 융합 기법은 다양한 센서 데이터를 결합하여 단일 센서 데이터에 비해 오류나 노이즈를 감소시키고 신뢰성을 향상시키며, 더욱 다양한 특징을 효과적으로 추출할 수 있다는 장점이 있다[15]. 진동 및 전류 신호를 연속 웨이블릿 변환을 사용하여 스펙트로그램으로 변환한 후, 데이터를 융합하여 EfficientNet V2-M0 모델에 전이 학습을 사용하는 연구가 진행되었다[16]. 진동 신호는 연속 웨이블릿 변환으로, 전류 신호는 Park 변환을 사용해 벡터 데이터로 변환한 후 ResNet과 Swin Transformer의 장점을 통합한 Resformer 모델을 사용하여 특징 수준 융합 기법을 사용하는 연구도 수행되었다[17].

기존의 신호 처리 기반 기법과 단일 센서 데이터를 활용한 딥러닝 기법은 높은 정확도를 제공할 수는 있지만 환경 변화에 민감하고 노이즈에 취약한 문제점이 있다. 이를 해결하기 위해 다중 센서 데이터를 융합한 딥러닝 기법이 연구되고 있지만, 아직은 성능이 낮은 임베디드 시스템 적용을 위한 고려가 부족하다. 이와 같은 문제를 해결하기 위해, 본 논문에서는 특징 융합모델 기반 모터 고장 진단 기법을 제안한다. 제안 기법에서는 임베디드 시스템을 고려하여 적은 파라미터와 연산량을 가진 모델을 구현하였다.

Ⅲ. 특징 융합모델 기반 모터 고장 진단 기법

3-1 데이터 전처리

본 논문에서는 모터의 동작 과정에서 수집된 신호를 대상으로 데이터 전처리를 위해 많이 사용되고 있는 특징 추출 방법인 STFT, Mel, Log-Mel, MFCC 를 활용하여 스펙트로그램 이미지를 생성하였다[18]-[20]. 활용된 4가지 특징 추출 기법을 통해 얻은 스펙트로그램 이미지의 예는 그림 1에 보이는 바와 같다.

Fig. 1.

Spectrogram examples using four feature extraction techniques

1) STFT

단시간 푸리에 변환(STFT, Short-Time Fourier Transform)은 신호의 주파수 성분을 분석하기 위해 널리 활용되는 특징 추출 기법 중 하나이다. STFT는 신호를 짧은 세그먼트로 나누고, 각 세그먼트에 푸리에 변환을 적용하여 시간-주파수 영역의 스펙트로그램을 생성한다. 이를 통해 시간에 따른 주파수 변화를 시각화하고 신호의 특징을 분석할 수 있다. STFT 기법에는 수식 (1)이 적용된다. 수식에서 x[n]은 입력 신호이고, w[n-m]은 윈도우 함수로(Window Function) 신호의 특정 구간을 의미한다. m은 시간 인덱스로 특정 시간 위치에서 신호를 분석하는 구간을 의미하고, w는 주파수 변수로 신호의 특정 주파수 성분을 분석하는 데 사용된다.

$\[ X\left(m,w\right)=\sum _{n=-\mathrm{\infty }}^{\mathrm{\infty }}x\left[n\right]w\left[n-m\right]e^{-iwn} \]$

(1)

2) Mel Spectrogram

Mel 스펙트로그램(Mel Spectrogram)은 STFT를 통해 얻은 시간-주파수 성분을 Mel 스케일로 변환한 스펙트로그램이다. Mel 스케일은 인간의 청각 특성을 반영하여 설계된 비선형 주파수 스케일로, 저주파 영역에서는 민감하고 고주파 영역에서는 덜 민감하게 인식하는 특성을 가진다. 이러한 특성은 음향 신호에서 중요한 저주파 정보를 더욱 명확히 표현하도록 한다. Mel 스펙트로그램은 STFT와 같이 입력되는 신호를 일정 시간 구간으로 나누어 단편화한 후, 각 윈도우에 대해 푸리에 변환을 적용하여 주파수 성분을 추출한다. 이후 여러 개의 Mel 필터 뱅크를 통해 주파수를 Mel 스케일로 변환한 뒤, 해당 주파수 성분을 활용해 스펙트로그램을 생성한다. 수식 (2)는 Mel 스케일 공식으로 m은 Mel 스케일, f는 주파수를 나타낸다.

$\[ m=2595{\mathrm{l}\mathrm{o}\mathrm{g}}_{10}\left(1+\frac{f}{700}\right) \]$

(2)

3) Log-Mel Spectrogram

로그 멜 스펙트로그램(Log-Mel Spectrogram)은 Mel 스펙트로그램에 로그 스케일을 적용한 결과이다. Mel 스펙트로그램이 인간의 청각 특성을 반영한다면, Log-Mel 스펙트로그램은 로그 변환을 적용하여 신호의 동적 범위를 줄이고 주요 특성을 강조한다. 이를 통해 높은 에너지 신호를 적절히 축소하고, 저에너지 신호를 더 두드러지게 표현함으로써 세부적인 특징을 더 명확히 나타낸다. 수식 (3)은 Mel 스펙트로그램 값을 로그 스케일로 변환하여 Log-Mel 스펙트로그램을 생성하는 수식으로, X_mel(m)은 m-번째 멜 필터 대역의 값이며, ϵ은 로그 계산 시 입력값이 0으로 입력되어 발생할 수 있는 오류를 방지하기 위해 추가된 작은 값의 상수이다.

$\[ X_{log mel}\left(m\right)={\mathrm{l}\mathrm{o}\mathrm{g}}_{10}\left(X_{mel}\left(m\right)+ϵ\right) \]$

(3)

4) MFCC

멜 주파수 켑스트럼 계수 (MFCC, Mel-Frequency Cepstral Coefficients)는 Log-Mel 스펙트로그램에 이산 코사인 변환(DCT, Discrete Cosine Transform)을 적용하여 켑스트럼 영역으로 변환한 스펙트로그램이다. DCT를 사용하여 Log-Mel 스펙트로그램의 정보를 압축하여 데이터 차원을 줄이고, 연산 효율성을 높이며, 노이즈를 줄이는 데 효과적이다. 이를 통해 주요 특징을 보존하면서 불필요한 고주파 성분을 제거한다. 수식 (4)는 Log-Mel 스펙트로그램을 DCT를 통해 켑스트럼 계수로 변환하는 수식으로 MFCC(d)는 켑스트럼 계수, X(k)는 Log-Mel 스펙트럼, K는 필터의 개수, d는 MFCC 계수의 인덱스를 나타낸다.

$\[ MFCC\left(d\right)=\sum _{k=1}^{K}X\left(k\right)\mathrm{c}\mathrm{o}\mathrm{s}\left(d\frac{\pi }{K}\left(k-\frac{1}{2}\right)\right), d=\mathrm{1,2},\dots ,D \]$

(4)

3-2 특징 융합모델을 활용한 모터 고장 진단

최근 연구된 대부분의 모터 고장 진단 기법은 단일 센서 데이터를 사용하고 있다. 하지만 모터를 사용하는 다양한 산업현장 환경에서는 환경 소음, 전자기 간섭 등과 같은 외부 요인으로 인해 데이터의 신뢰성이 낮아질 수 있다. 또한, 연산 성능이 낮은 기기에서 센서 데이터를 처리하기 위해 원본 데이터를 압축하거나 다른 형태로 변환하는 과정에서 주요 정보의 손실이 발생할 수 있다. 이를 해결하기 위해 본 논문에서는 진동 및 음향 센서 데이터의 특징을 추출하고, 융합하는 특징 융합모델을 제안한다.

1) 데이터 융합

데이터 융합(Data Fusion)은 2개 이상의 데이터를 융합하여 더 많은 정보와 다양한 특징을 활용하는 기법이다[21]. 특히 장비 상태 모니터링 분야에서는 고장 유형에 따라 센서별로 얻을 수 있는 중요한 정보가 다를 수 있으므로, 서로 다른 데이터를 융합하여 데이터의 신뢰도와 안정성을 강화하기 위해 사용한다. 데이터 융합은 처리 단계에 따라 그림 2와 같이 데이터 단계, 특징 단계, 결정 단계의 세 가지로 나눌 수 있다. 데이터 단계 융합은 센서에서 얻은 원시 데이터를 직접 융합하는 방식이다. 데이터 손실이 적고 많은 정보를 포함하지만, 연산량이 많아진다는 단점이 있다. 특징 단계 융합은 각 데이터에서 추출한 특징을 결합하는 방식이다. 데이터 수준 융합에 비해 연산량은 적지만 데이터의 크기가 작아져 정확도가 낮아질 수 있다. 결정 단계 융합은 의사결정 결과를 결합하는 방식이다. 각 데이터를 독립적으로 처리하여 유연하게 설계할 수 있지만 개별 모델이 부정확하면 전체 모델의 성능이 저하될 수 있다. 본 논문에서는 모터 고장 진단에 있어서 우수한 성능과 높은 정확도를 얻기 위해 특징 수준 융합 기법을 적용한다.

Fig. 2.

Data fusion according to processing levels

2) 제안하는 특징 융합모델

본 논문에서 제안하는 모터 고장 진단 기법은 그림 3에서 보이는 바와 같이 진동 신호와 음향 신호를 STFT, Mel, Log-Mel, MFCC 특징 추출 기법을 활용하여 시간-주파수 영역의 스트로그램으로 변환한다. 전처리한 데이터를 각 CNN 모델의 입력으로 받아 추출된 특징을 결합하여 모터의 상태를 진단하는 특징 융합모델이다. 제안하는 모터 고장 진단 기법에서는 각 신호에서 변환된 스펙트로그램 이미지의 해상도를 64x64로 다운샘플링하고, 모델의 입력으로 사용하여 입력 데이터의 크기를 줄인다. 이를 통해 모델의 연산 복잡도를 낮출 수 있다.

Fig. 3.

Overall structure of the proposed motor fault diagnosis model

제안하는 특징 융합모델에 사용된 CNN은 MobileNet V3-Small 모델을 기반으로 구현하였다[22]. MobileNet V3-Small 모델의 네트워크 폭 멀티플라이어를 0.25로 설정하여 네트워크의 채널 수를 1/4로 축소하고, 일부 네트워크 계층을 제거하여 연산량과 파라미터 값을 줄였다. 기존 모델의 파라미터 값은 2.56M, MACs 값은 57.68M인 것에 반해, 제안하는 특징 융합모델의 경우 파라미터 값은 1.35M, MACs 값은 1.98M으로, 파라미터는 약 47% 감소, MACs는 약 96% 감소한 것을 확인할 수 있다.

제안 기법에서는 진동 신호와 음향 신호의 특징을 개별적으로 추출하기 위해 2개의 경량화한 MobileNet V3-Small 모델을 사용한다. 각 모델은 서로 다른 진동 신호와 음향 신호로부터 독립적으로 특징을 추출함으로써 신호 유형별 고유 정보를 최대한 보존할 수 있도록 한다. 각 모델에서 추출한 특징을 벡터화한 후 통합하며, 통합된 특징 벡터는 완전 연결 계층(fully connected layer)을 거쳐 모터의 상태를 분류한다. 이를 위해 512개의 뉴런을 가진 완전 연결 계층과 비선형 활성화 함수인 ReLU를 사용하고, 마지막 출력 계층에서는 Softmax 함수를 적용하여 각 클래스에 대한 확률값을 산출한다. ReLU 활성화 함수는 네트워크의 비선형성을 강화하여 복잡한 데이터 분포를 효과적으로 학습할 수 있게 한다. 또한 Softmax 함수는 각 클래스에 대한 확률적 해석을 제공하여 모터 상태의 정확한 분류를 가능하게 한다.

Ⅳ. 실험 및 결과

본 논문에서는 제안하는 모터 고장 진단 기법의 성능을 측정하기 위해 표 2와 같은 실험 환경을 활용하였다. 제안 기법이 임베디드 시스템에서 실시간으로 동작할 수 있는지 평가하기 위해, 저성능 Intel CPU를 사용하는 디바이스 2와 라즈베리파이 3 모델 B(디바이스 3)를 사용하여 모델 추론 시간을 측정하였다. 이를 통해 제안 기법의 연산 효율성과 임베디드 시스템에서의 실용성을 평가하였다.

Table 2.

Experimental environments

4-1 실험 데이터셋

본 논문에서는 UOEMD–VAFCVS 데이터셋[23]을 활용하여 제안하는 모터 고장 진단 기법에 대한 실험을 수행하였다. 이 데이터셋은 SpectraQuest Machinery Fault & Rotor Dynamics Simulator의 수정된 장비와 8개의 D396 Marathon 3상 전기 모터를 통해 수집된 것이다. 각 모터는 최대 3HP의 출력과 3,600RPM의 회전 속도를 낼 수 있으며, 가변 주파수 드라이브를 사용하여 Hz로 모터의 회전 속도를 제어한다. 8개의 모터에서 수집된 데이터는 다양한 고장 상태와 속도, 부하 여부에 따라 구분된다. 모터 상태는 총 8가지로 분류되는데, 이는 정상(Healthy), 로터 불균형(Rotor Unbalance), 로터 정렬 불량(Rotor Misalignment), 고정자 권선 결함(Stator Winding Fault), 전압 불균형 및 단상(Voltage Unbalance and Single Phasing), 휜 로터(Bowed Rotor), 파손된 로터 바(Broken Rotor Bars), 베어링 결함(Faulty Bearings)을 포함한다. 모터 속도는 15Hz, 30Hz, 45Hz, 60Hz의 일정한 동작 속도와 15Hz에서 45Hz, 30Hz에서 60Hz, 45Hz에서 15Hz, 60Hz에서 30Hz로의 가속 또는 감속하는 동적 동작 속도를 포함하여 총 8가지 조건으로 설정된다. 데이터셋은 모터 부하 여부를 조합하여 총 128개의 CSV와 MAT 형식의 파일로 구성된다.

센서 데이터 수집 방법은 그림 4에서 보이는 바와 같이 PCB 623C01 가속도 센서 3개, PCB 130F20 마이크 1개, 그리고 가속도 센서에 통합된 온도 센서 1개가 사용된다. 각 센서는 42,000Hz의 샘플링 주파수로 10초 동안의 데이터를 수집하며, 데이터 파일은 센서 5개 각각 420,000개 샘플로 구성되어 있다.

Fig. 4.

Data acquisition device configuration

본 논문의 실험에서는 가속도 센서2와 마이크에서 얻은 진동 신호와 음향 신호를 사용한다. 각 신호는 STFT, Mel, Log-Mel, MFCC 특징 추출 기법을 사용하여 전처리 수행 후, Python Librosa를 활용하여 스펙트로그램 이미지를 생성한다. 각 파일은 420,000개의 샘플이 저장되어 있는데, 이를 4,000개의 샘플로 나누어 파일 및 센서 별로 105개의 스펙트로그램을 생성하고, 각 센서 및 특징 추출 기법별로 총 13,440개의 스펙트로그램을 생성한다. 특징 추출 기법을 통해 스펙트로그램 생성에 사용한 파라미터 값은 표 3과 같다.

Table 3.

Feature extraction parameter values

각 데이터셋은 학습, 검증, 테스트 데이터셋으로 분리하며, 13,440개의 스펙트로그램을 표 4에서 보이는 바와 같이 6:2:2 비율로 분리한다. 이때 모터의 상태, 속도, 부하 여부를 고려하여 분리하고 똑같은 시드 값을 사용하여 특징 융합 데이터 모델의 입력에 동일한 모터의 상태, 속도, 부하 여부 및 샘플 순서가 입력될 수 있도록 하였다.

Table 4.

Number and ratio of files in dataset split

4-2 실험 결과

본 논문에서는 생성된 스펙트로그램을 활용해 MobileNet V3-Small 0.25 모델로 모터의 고장 진단을 실행한 뒤, 각 신호에서 가장 성능이 우수한 2개의 데이터셋을 조합하여 제안한 특징 융합모델에 적용하였다. 모든 실험은 신뢰도를 높이기 위해 학습/검증/테스트 과정을 10회 반복하였다.

모터의 고장 진단 분류는 속도, 부하 여부와 상관없이 모터의 상태인 정상, 로터 불균형, 로터 정렬 불량, 고정자 권선 결함, 전압 불균형 및 단상, 휜 로터, 파손된 로터 바, 베어링 결함 총 8개 유형 분류를 목표로 하였으며, 모델의 성능 지표로는 수식 5와 같이 계산되는 정확도를 사용한다.

$\[ Accuracy=\frac{Number of Correctly Predicted Samples}{Total Number of Samples} \]$

(5)

실험에서 사용한 모델의 주요 하이퍼파라미터는 다음과 같다. 손실 함수는 CrossEntropy를 사용하고 옵티마이저는 Adam을 적용한다[24]. 배치 크기(batch size)는 32로 설정하고, 총 20 Epoch 동안 학습을 진행한다. 학습률(learning rate)은 초기값을 0.01로 설정하고, 스케줄러(Scheduler)로는 StepLR을 사용하여 3 Epoch마다 학습률이 절반으로 감소하도록 설정하였다.

표 5는 진동 신호를 4개의 특징 추출 기법을 통해 스펙트로그램 이미지로 변환하여 MobileNet V3-Small 0.25 모델을 사용하여 얻은 모터 고장 진단 정확도 결과로 Log-Mel이 약 83%로 가장 높은 진단 정확도를 보인다. STFT와 Mel은 약 79%의 진단 정확도, MFCC는 약 70%의 진단 정확도를 보인다.

Table 5.

Diagnosis accuracy using vibration signals

음향 신호를 사용하는 모터 고장 진단 결과는 표 6에서 보이는 바와 같이 Log-Mel이 약 84%의 진단 정확도를 보인다. MFCC, Mel, STFT는 각각 72%, 66%, 43%의 고장 진단 정확도를 제공한다. 진동 신호와 음향 신호의 모터 고장 진단 정확도를 비교하면, 음향 신호가 진동 신호에 비해 약 10% 낮은 정확도를 보인다. 이는 신호의 수집 방법에 대한 차이로 인해 정확도의 차이가 발생하는 것으로 생각된다. 진동 신호는 모터 축의 베어링 하우징에서 신호를 직접적으로 얻는다. 음향 신호는 모터 축에서 약 2cm 거리를 두어 비접촉 방식으로 데이터를 수집하므로, 신호가 주변 환경에 의해 영향을 받을 수 있어 상대적으로 정확도가 낮게 나타난 것으로 판단된다[25].

Table 6.

Diagnosis accuracy using acoustic signals

제안하는 특징 융합모델은 진동 신호에서는 우수한 정확도를 제공하는 STFT와 Log-Mel, 음향 신호에서는 MFCC와 Log-Mel을 사용하여 신호별로 2개의 전처리 기법을 조합하였다. 표 7과 같이 제안하는 특징 융합모델을 사용하는 모터 고장 진단은 Log-Mel / Log-Mel 조합의 경우 93%의 진단 정확도를 보이고, STFT / Log-Mel 조합은 92%의 진단 정확도를 제공한다. 이는 진동 신호나 음향 신호를 하나만 사용하는 진단 기법과 비교하여 9% ~ 17%의 진단 정확도 향상이 있음을 알 수 있다. 그림 5에서 보이는 바와 같이 제안하는 특징 융합모델은 안정적으로 학습하는 것을 확인할 수 있었으며, 그림 6의 혼동 행렬에서 보이는 바와 같이 모터의 고장을 전체적으로 균일하게 분류하고 있음을 확인할 수 있다.

Table 7.

Diagnosis accuracy using proposed model

Fig. 5.

Training/validation loss values and accuracy of feature fusion model

Fig. 6.

Confusion matrix of feature fusion model

단일 신호를 사용하는 모터 고장 진단에서는 모델의 파라미터 수가 너무 적어 특징을 제대로 학습하지 못했다. 제안하는 특징 융합모델은 각 신호의 고유한 특징을 추출하고 결합하여 더 풍부한 정보를 얻을 수 있으므로, 낮은 파라미터와 연산량을 가진 모델에서도 고장 유형에 대한 특징을 더욱 효과적으로 학습할 수 있는 것을 확인하였다. 따라서 위의 실험 결과에서 보이는 바와 같이 높은 진단 정확도와 함께 안정적인 학습 성능을 나타내며, 고장 유형 간 균일한 분류 성능을 보인다.

표 8은 제안된 모델과 MobileNet V3-Small 모델의 추론시간을(Inference Time) 각 디바이스 별로 비교한 결과이다. CPU를 사용하여 추론 시간을 측정하였을 때, 모든 디바이스에서 제안하는 모델이 MobileNet V3-Small 모델 대비 약 50%의 추론 시간 단축을 보였다. 이는 제안 모델이 기존 모델보다 낮은 파라미터와 연산량을 가지고 있기 때문이다.

Table 8.

Comparison of inference time

Ⅴ. 결 론

본 논문에서는 산업 현장에서 가장 많이 사용되는 기계 장치 중 하나인 전기 모터의 진동 및 음향 신호를 모두 활용할 수 있도록 특징 융합 기법을 적용한 모터 고장 진단 방법을 제안하였다. 모터에서 수집된 진동 및 음향 신호는 STFT, Mel, Log-Mel, MFCC를 이용하여 시간-주파수 영역의 스펙트로그램 이미지로 변환하였다. 이후 진동 및 음향 신호를 Log-Mel 스펙트로그램으로 변환한 이미지를 입력으로 받는 특징 융합모델을 통해 약 93%의 모터 상태 진단 정확도를 달성하였다. 이는 단일 신호를 사용하였을 때와 비교하여 9% ~ 17% 더 높은 정확도를 얻을 수 있었다. 이를 통해 서로 다른 두 종류의 신호를 동시에 활용하는 특징 융합 데이터 입력 모델이 모터 고장 진단에 보다 효과적으로 작동함을 확인할 수 있었다. 또한 제안된 특징 융합모델은 기존 모바일 기기에서 많이 사용되는 MobileNetV3-Small보다 파라미터 수는 약 2배, 연산량은 약 29배 적었고, 추론 시간 또한 약 2배 빠르다는 것을 확인할 수 있었다.

향후 연구에서는 정확도를 높이기 위해 어텐션 메커니즘(Attention Mechanism) 또는 트랜스포머(Transformer) 기반 특징 융합 기법을 적용할 계획이다. 또한, 양자화(Quantization) 기법과 JIT (Just-In-Time) 컴파일러를 활용해 연산량과 파라미터 수를 감소시킴으로써 기존 모델보다 경량화하여 임베디드 장치에서 우수한 실시간 고장 진단 정확도를 얻고자 한다.

Acknowledgments

본 연구는 정부(과학기술정보통신부)의 재원으로 한국연구재단의 지원을 받아 수행된 연구임(RS-2024-00453676).

References

• M. A. Alsaedi, “Fault Diagnosis of Three-Phase Induction Motor: A Review,” Optics, Vol. 4, No. 1-1, pp. 1-8, January 2015. [https://doi.org/10.11648/j.optics.s.2015040101.11]
• S. K. Gundewar and P. V. Kane, “Condition Monitoring and Fault Diagnosis of Induction Motor,” Journal of Vibration Engineering & Technologies, Vol. 9, pp. 643-674, June 2021. [https://doi.org/10.1007/s42417-020-00253-y]
• H. Ma, Q. Xu, J. Song, and J. Han, “The Application of Zoom FFT Technique to the Extraction of Fault Character of Induction Motor,” in Proceedings of 2008 International Conference on Condition Monitoring and Diagnosis, Beijing, China, pp. 221-225, April 2008. [https://doi.org/10.1109/CMD.2008.4580267]
• I. Jaksch, “Faults Diagnosis of Three-Phase Induction Motors Using Envelope Analysis,” in Proceedings of 4th IEEE International Symposium on Diagnostics for Electric Machines, Power Electronics and Drives (SDEMPED 2003), Atlanta: GA, pp. 289-293, August 2003. [https://doi.org/10.1109/DEMPED.2003.1234588]
• O. Janssens, V. Slavkovikj, B. Vervisch, K. Stockman, M. Loccufier, S. Verstockt, ... and S. Van Hoecke, “Convolutional Neural Network Based Fault Detection for Rotating Machinery,” Journal of Sound and Vibration, Vol. 377, pp. 331-345, September 2016. [https://doi.org/10.1016/j.jsv.2016.05.027]
• F. Oliveira, D. G. Costa, F. Assis, and I. Silva, “Internet of Intelligent Things: A Convergence of Embedded Systems, Edge Computing and Machine Learning,” Internet of Things, Vol. 26, 101153, July 2024. [https://doi.org/10.1016/j.iot.2024.101153]
• A. Biglari and W. Tang, “A Review of Embedded Machine Learning Based on Hardware, Application, and Sensing Scheme,” Sensors, Vol. 23, No. 4, 2131, February 2023. [https://doi.org/10.3390/s23042131]
• G. K. Singh and S. A. S. Al Kazzaz, “Induction Machine Drive Condition Monitoring and Diagnostic Research—A Survey,” Electric Power Systems Research, Vol. 64, No. 2, pp. 145-158, February 2003. [https://doi.org/10.1016/S0378-7796(02)00172-4]
• S. Zhang, S. Zhang, B. Wang, and T. G. Habetler, “Deep Learning Algorithms for Bearing Fault Diagnostics—A Comprehensive Review,” IEEE Access, Vol. 8, pp. 29857-29881, 2020. [https://doi.org/10.1109/ACCESS.2020.2972859]
• M. T. Pham, J.-M. Kim, and C. H. Kim, “Rollingn Bearing Fault Diagnosis Based on Improved GAN and 2-D Representation of Acoustic Emission Signals,” IEEE Access, Vol. 10, pp. 78056-78069, 2022. [https://doi.org/10.1109/ACCESS.2022.3193244]
• Y. Liu and A. M. Bazzi, “A Review and Comparison of Fault Detection and Diagnosis Methods for Squirrel-Cage Induction Motors: State of the Art,” ISA Transactions, Vol. 70, pp. 400-409, September 2017. [https://doi.org/10.1016/j.isatra.2017.06.001]
• M. Ertargin, O. Yildirim, and A. Orhan, “Classifying Induction Motor Faults Using Spectrogram Images with Deep Transfer Learning,” in Proceedings of the 10th World Congress on Electrical Engineering and Computer Systems and Sciences (EECSS ’24), Barcelona, Spain, 113, August 2024. [https://doi.org/10.11159/eee24.113]
• J.-G. Jang, C.-M. Noh, S.-S. Kim, S.-C. Shin, S.-S. Lee, and J.-C. Lee, “Vibration Data Feature Extraction and Deep Learning-Based Preprocessing Method for Highly Accurate Motor Fault Diagnosis,” Journal of Computational Design and Engineering, Vol. 10, No. 1, pp. 204-220, February 2023. [https://doi.org/10.1093/jcde/qwac128]
• F. Zeng, X. Ren, and Q. Wu, “A Fault Diagnosis Method for Motor Vibration Signals Incorporating Swin Transformer with Locally Sensitive Hash Attention,” Measurement Science and Technology, Vol. 35, No. 4, 046121, April 2024. [https://doi.org/10.1088/1361-6501/ad1cc4]
• L. Qian, B. Li, and L. Chen, “CNN-Based Feature Fusion Motor Fault Diagnosis,” Electronics, Vol. 11, No. 17, 2746, August 2022. [https://doi.org/10.3390/electronics11172746]
• L. Jiang, S. Zhu, and N. Sun, “An Improved Lightweight Variant of EfficientNetV2 Coupled with Sensor Fusion and Transfer Learning Techniques for Motor Fault Diagnosis,” IEEE Access, Vol. 12, pp. 84470-84487, 2024. [https://doi.org/10.1109/ACCESS.2024.3412050]
• Q. Shang, T. Jin, and M. Chen, “A New Cross-Domain Motor Fault Diagnosis Method Based on Bimodal Inputs,” Journal of Marine Science and Engineering, Vol. 12, No. 8, 1304, August 2024. [https://doi.org/10.3390/jmse12081304]
• R. F. Ribeiro Jr., I. A. dos Santos Areias, M. M. Campos, C. E. Teixeira, L. E. B. da Silva, and G. F. Gomes, “Fault Detection and Diagnosis in Electric Motors Using Convolution Neural Network and Short-Time Fourier Transform,” Journal of Vibration Engineering & Technologies, Vol. 10, No. 7, pp. 2531-2542, October 2022. [https://doi.org/10.1007/s42417-022-00501-3]
• S. Shan, J. Liu, S. Wu, Y. Shao, and H. Li, “A Motor Bearing Fault Voiceprint Recognition Method Based on Mel-CNN Model,” Measurement, Vol. 207, 112408, February 2023. [https://doi.org/10.1016/j.measurement.2022.112408]
• Haytham Fayek. Speech Processing for Machine Learning: Filter Banks, Mel-Frequency Cepstral Coefficients (MFCCs) and What’s In-Between [Internet]. Available: https://haythamfayek.com/2016/04/21/speech-processing-for-machine-learning.html, .
• S. R. Stahlschmidt, B. Ulfenborg, and J. Synnergren, “Multimodal Deep Learning for Biomedical Data Fusion: A Review,” Briefings in Bioinformatics, Vol. 23, No. 2, bbab569, March 2022. [https://doi.org/10.1093/bib/bbab569]
• A. Howard, M. Sandler, G. Chu, L.-C. Chen, B. Chen, M. Tan, ... and H. Adam, “Searching for MobileNetV3,” arXiv:1905.02244v5, , November 2019. [https://doi.org/10.48550/arXiv.1905.02244]
• M. Sehri and P. Dumond, “University of Ottawa Constant and Variable Speed Electric Motor Vibration and Acoustic Fault Signature Dataset,” Data in Brief, Vol. 53, 110144, April 2024. [https://doi.org/10.1016/j.dib.2024.110144]
• D. P. Kingma and J. L. Ba, “Adam: A Method for Stochastic Optimization,” arXiv:1412.6980v9, , January 2017. [https://doi.org/10.48550/arXiv.1412.6980]
• C. Freitas, J. Cuenca, P. Morais, A. Ompusunggu, M. Sarrazin, and K. Janssens, “Comparison of Vibration and Acoustic Measurements for Detection of Bearing Defects,” in Proceedings of the 27th International Conference on Noise and Vibration Engineering (ISMA 2016), Leuven, Belgium, pp. 2423-2436, September 2016.