Journal Archive

수집된 돼지 소리 데이터를 정상, 비명, 재채기, 기침 네 가지의 카테고리로 분류하였다. 음성 분류시 오류를 방지하기 위해 영상데이터와의 비교를 통하여 분류를 진행하였다. 정상소리의 경우, 돼지의 울음소리, 발자국소리, 바닥을 긁는소리, 농장 내 물 뿌리는 소리 등의 소리들을 포함하였다. 비명소리는 돼지 예방접종 또는 돈방 이동 시에 자주 발생하는 소리로, 5초 이상 지속되며, 날카롭고 높은 파장대에서의 길고 지속적인 소리가 관측된다. 재채기 소리와 기침 소리는 크게 주파수 구성, 지속 시간, 강도의 세 가지 측면에서 차이를 보인다.

1) 주파수 구성: 재채기소리는 비교적 낮은 주파수 구성을 가진다. 이는 재채기 소리가 콧구멍을 통해 나오는 공기의 흐름으로 인한 소리이기에, 소리의 구성에 성대의 관여가 적고, 따라서 주로 낮은 주파수 구성을 갖는다. 기침소리는 상대적으로 넓은 주파수 범위를 가진다. 기침은 폐로부터 공기를 강하게 내쏘아 무엇인가를 몸에서 내보내기 위한 과정이므로, 그 과정에서 성대가 크게 관여하게 되고, 따라서 높은 주파수 범위를 포함하는 다양한 주파수 성분이 혼합된다[16].

2)지속 시간: 재채기소리는 일반적으로 짧은 지속 시간을 가진다. 갑자기 발생한 콧구멍의 자극에 의해 발생하며 길게 지속되지 않고, 1회 혹은 2회의 짧은 소리가 관측된다. 반면에 기침소리는 재채기소리보다 상대적으로 긴 지속 시간을 갖는다. 기침은 체내의 이상 물질을 제거하기 위한 목적으로 나오는 소리이므로, 더 긴 지속 시간동안 적게는 2~3회, 많게는 5회 이상 반복되는 패턴을 가진다. 호흡기 질환에 걸려 지속적으로 기침을 하는 경우, 중추성 혹은 말초성 감작에 의해 기침을 유발하는 자극에 대한 역치가 낮아졌기 때문에, 기침을 하며 발생되는 호흡기 자극으로 다시 기침을 하게 되어, 5회 이상 기침을 하는 경우가 많으며, 이 때 초기 1~2회의 기침 소리보다 뒤의 기침소리가 더 크다는 특징을 갖는다.

3) 강도: 재채기소리는 일반적으로 상대적으로 낮은 음량을 가진다. 콧구멍을 통해 발생하는 소리이기 때문에 상대적으로 강도가 낮다. 반면 기침소리는 재채기소리보다 더 높은 음량을 가진다. 기침은 강한 공기 흐름을 동반하므로 강도가 상대적으로 높다.

데이터 학습을 위해 정상, 비명, 재채기, 기침 네 가지의 카테고리로 분류된 음성파일을 1초 단위로 잘라 학습용 데이터로 규격화 하였다.

음성 데이터를 모델이 이해할 수 있는 형태로 변환하기 위해 스펙트로그램으로 변환하는 과정을 수행하였다(그림1). 각 세그먼트는 1/6초 간격의 가로축과 최대 주파수가 16kHz인 세로축으로 나타내어진 스펙트로그램으로 변환하였다. 이 때 스펙트로그램의 특성을 강조하고 학습에 유용한 형태로 변환하기 위해 logMel 함수를 적용하였다. 이 함수는 음성 신호의 주파수 영역을 로그 스케일로 변환하며, 음성의 중요한 주파수 대역을 강조한다. 이로써 스펙트로그램의 정보를 더 강조하고, 모델이 음성 데이터의 특징을 더욱 효과적으로 학습할 수 있도록 하였다.

Fig. 1. 
Pig voice spectrogram

실험은 파이썬 프로그래밍 언어를 활용하여 수행되었다. 코드는 TensorFlow와 Keras 프레임워크를 기반으로 작성되었다. 실험은 NVIDIA GPU (GEFORCE RTX 2080 SUPER) 를 이용하여 학습을 진행하였다.

실험에서는 CNN 모델을 사용하였다. 음성형태의 데이터를 CNN 학습에 유리한 이미지 데이터로 변환하기 위해, LogMel 함수를 이용하여, 스펙트로그램으로 변환하였다. 이러한 CNN 모델은 음성 데이터의 시간 및 주파수 특성을 효과적으로 추출할 수 있는 구조를 가지고 있다. 각 모델은 여러 개의 합성곱(Convolution) 레이어와 풀링(Pooling) 레이어를 포함하며, 배치 정규화(Batch Normalization) 기법을 통해 학습 안정성을 높였다.

해당 연구에서는 Keras를 이용하여 신경망을 정의하고, 이 신경망의 각 레이어에 배치 정규화 레이어를 추가하여 입력 데이터의 배치를 정규화하였다.

학습은 데이터를 배치 단위로 모델에 입력하여 수행되었으며, 손실 함수로는 categorical cross-entropy를 사용하여 모델이 다양한 카테고리의 음성 데이터를 분류하도록 하였습니다. 또한, 학습 중간에는 검증 데이터를 활용하여 모델의 성능을 평가하고, 학습률을 동적으로 조절하는 방법을 사용하여 최적의 학습 성능을 달성하였다.

SimpleLogMel_CNN 모델은 직관적인 합성곱 신경망 구조를 따른다. 아래는 구조에 대한 자세한 내용이다:

3-1) 입력 레이어

네트워크는 (128 x 32 x 1) 형태의 입력을 받는다.

3-2) 합성곱 및 풀링 레이어

첫 번째 합성곱 레이어: 16개의 필터와 크기가 2x2인 커널을 사용하여 'relu' 활성화 함수와 함께 합성곱을 수행한다.

두 번째 합성곱 레이어: 16개의 필터와 크기가 2x2인 커널로 'relu' 활성화 함수와 함께 합성곱을 수행한다.

최대 풀링 레이어: 크기가 2x2인 풀링 영역을 사용하여 특징을 축소한다.

배치 정규화 레이어: 이러한 과정이 총 4번 반복되며, 각 단계에서 필터의 수가 두 배로 증가한다(16, 32, 64, 128).

3-3) 글로벌 평균 풀링 레이어

특징의 전역 평균을 계산하여 모델의 출력 크기를 줄인다.

3-4) 완전 연결 레이어

활성화 함수로 'softmax'를 사용하여 출력 값을 분류한다.

3-5) 컴파일

모델은 'categorical crossentropy' 손실 함수, 'binary accuracy' 지표, 및 'adam' 최적화기를 이용, 컴파일된다.

CNN 학습 최적합 분류조건을 다음과 같이 선정하였다.

마지막 에포크 결과: 마지막 에포크에서는 홀드아웃 데이터에 대한 성능을 평가하였다. 이를 통해 모델이 훈련 데이터 이외의 데이터에서의 분류 성능을 확인할 수 있었다. 정확도, 균형 재현율, F1 점수 및 혼동 행렬을 통해 결과를 분석하였다.

최적 검증 손실 결과: 검증 데이터에 대한 손실을 최소화하는 에포크에서의 모델 가중치를 사용하여 모델의 성능을 평가하였다. 마찬가지로 정확도, 균형 재현율, F1 점수 및 혼동 행렬을 통해 결과를 분석하였다.

최적 정밀도 및 재현율 결과: 정밀도와 재현율이 각각 80% 이상인 경우를 선택하여 해당 에포크에서의 모델 가중치를 사용하여 모델의 성능을 평가하였다. 마찬가지로 정확도, 균형 재현율, F1 점수 및 혼동 행렬을 통해 결과를 분석하였다.

CNN 학습을 이용한 분류모델이 분류에 적합한 모델임을 검증하기 위해, 동일한 데이터를 Gradient Boosting Methods (XGBoost), Decision Trees, K-Nearest Neighbors (KNN), Multi-Layer Perceptron (MLP), Support Vector Machines (SVM), Gaussian Naïve Bayes (GNB) 등의 모델을 이용하여 분류하여, 그 결과를 CNN 모델의 분류결과와 비교하였다(표 1).

Decision Trees는 데이터 분류 및 회귀 문제를 해결하는 데 사용되는 트리 구조 기반의 모델이다. 각 노드는 특정 기준에 따라 데이터를 분할하며, 최종 노드에서 예측을 수행한다. KNN은 인스턴스 기반 학습 알고리즘으로, 주어진 데이터 포인트와 가장 가까운 이웃 데이터 포인트의 레이블을 기반으로 분류한다. SVM은 두 클래스 간의 최적 경계(하이퍼플레인)를 찾아 데이터를 분류하는 알고리즘이다. 고차원 데이터에서도 효과적으로 작동하며, 마진을 최대화하여 모델의 일반화 성능을 향상시키는 방식을 사용한다. MLP는 하나 이상의 은닉 레이어를 갖는 인공 신경망이며, 가중치를 조정하여 복잡한 비선형 함수를 모델링할 수 있다. GNB는 분류하려는 모든 특성이 서로 독립이며, 각 특성의 분포가 Gaussian을 따른다고 가정하고, 주어진 데이터포인트의 각 특성에 대한 확률 분포를 추적, 베이즈 이론을 사용하여 데이터포인트가 특정 클래스에 속할 확률을 계산하는 알고리즘이다. XGBoost는 여러 개의 간단한 결정 트리를 조합하여 더 성능높은 예측 모델을 생성하는 알고리즘이다. 단순한 모델세트의 추정치의 학습 에러에 가중치를 두고 다음단계 학습 모델에 이를 적용하여 정확도 높은 예측 모델을 만든다.

CNN은 이미지 처리에 특화되어 있는 알고리즘이다. 이미지 데이터의 공간 구조, 즉 데이터의 X, Y 좌표를 고려하여 학습을 수행하여, 이미지 인식 및 객체 감지에 매우 유용합니다. 해당 연구에서는 음성 데이터를 가로축(시간축)과 세로축(진동수축)의 스펙트로그램으로 재구성하여 시간에 따른 음성 진동수 조합의 변화를 해석하도록 접근하였다. 또한, CNN모델은 합성곱(Convolution)과 풀링(Pooling) 레이어를 사용하여 시각적 패턴 및 특징을 자동으로 추출하며, 이로써 별도의 특성 추출 작업이 필요 없다는 장점이 있다.

결과적으로, 본 연구에서, 같은 음성 데이터셋을 이용하여 분류를 수행했을 때, 다른 모델들에 비해 CNN 모델이 분류정확도 96.93%로 높은 분류 정확도를 보이는 것을 확인할 수 있었다.

본 연구에서는 총 10,733개의 데이터를 학습을 위해 네 가지 카테고리(정상 2,154개, 기침 3,316개, 재채기 2,110개, 비명 3,153개)로 분류하였다. 이 데이터를 훈련 세트와 테스트 세트로 4:1의 비율로 분할하여 사용하였다. 최적화 과정을 거친 모델의 분류 정확도는 96.53%로 나타났다. 해당 분류 알고리즘의 혼동 행렬(confusion matrix)은 그림 2에서 확인할 수 있다. 실험 결과 네 카테고리에 대한 분류가 모두 95%이상의 정확도로 잘 되고 있는 것을 확인할 수 있었으나, 정상음성의 경우, 4.27%의 정상음성이 기침으로 잘못인식되는 경향이 있었다. 해당 문제는, 농장 내 발생하는 잡음들 중, 바닥 긁는소리, 문 여닫는 소리 등의 탁성이 섞여 있는 경우, 기침 소리로 오분류 되는 것으로 파악되었다.

Fig. 2. 
Classification performance confusion matrix

기침 소리와 바닥 긁는 소리의 스펙트로그램을 비교해보면, 둘 모두 0~16kHz 사이의 넓은 주파수 범위에서 매우 유사한 형태의 짧은 음성신호가 확인되었다(그림 3). 바닥 긁는 소리를 기침 소리로 오인하는 문제를 개선하기 위해, 바닥긁는 소리 데이터 202건을 추가수집하여, 다시 학습시켜 모델을 개선하였다. 정상 소리 데이터를 기침 소리로 잘못 인식하는 오인율이 3.86%로 저하된 것을 확인할 수 있었으나, 수치상 차이가 크지 않게 나타났다. 실제 축사 환경에서 오인되는 경우가 적어지는지를 확인하기 위해, 개선 전과 개선 후 두가지 모델을 이용, 축사 내에서 26일간 녹화된 비디오에서 감지된 일간 기침 횟수를 비교하였다. 개선전 모델을 이용하였을 때, 5일차에 감지된 기침 횟수는 31회 였으나, 개선후 모델을 이용했을 때에는 4회로 현저히 감소된 것을 확인하였으며, 바닥긁는 소리가 기침으로 오인된 사례가 27회임을 확인하였다(그림 5).

Fig. 3. 
Classification performance confusion matrix

Fig. 4. 
Classification performance confusion matrix

Fig. 5. 
Comparison of voice recognition performance before and after noise recognition improvement

본 연구에서 개발된 알고리즘의 실제 응용 능력을 검증하기 위해, 실험실 돈방 내에서 돼지를 25일간 관측하며, 호흡기질환인 흉막폐렴(APP)과 돼지 생식기 호흡기 증후군(PRRS) 병원체를 돼지에게 공격접종 하였다. 공격접종 이후 돼지의 일자별 기침 발생을 모니터링하여 알고리즘의 감지 능력을 평가하였다.

돼지 기침 실시간 감지를 위해 두 가지 다른 유형의 돈사 환경을 대상으로 모니터링을 실시하였다. 첫 번째는 환기시설이 설치된 신식 농장인 '한돈혁신센터', 두 번째는 재래식 돈사인 '둥지농장'이다. 각 농장에서 감지된 기침 횟수를 시간대별로 정리하였다(그림 7).

Fig. 7. 
Comparison of cough detection monitoring results between farms

음성 기반 기침 감지 시스템이 농장 환경에서 효과적으로 작동하는 것을 확인하였다. 한돈혁신센터와 둥지농장의 두 가지 다른 유형의 돈사에서 모두 음성 기반 기침 감지 시스템이 기침 소리를 정확하게 식별할 수 있었다.

한돈혁신센터의 경우 일간 5회 미만의 기침소리가 감지되었고, 둥지농장의 경우 일반적으로 5~10회의 기침이 감지되어 돈사 환경에 따라 돼지의 기침소리 감지 빈도에 차이가 있는 것으로 확인되었다(그림 7).

실험 결과를 통해 음성 기반 기침 감지 시스템이 농장 환경에서 실시간 기침 감지에 효과적으로 적용될 수 있음을 확인하였다. 두 가지 다른 유형의 돈사 환경인 한돈혁신센터와 둥지농장에서 모두 이 시스템이 기침 소리를 정확하게 식별하는 데 성공하였다. 이러한 결과는 농장 환경에서의 기침 소리 모니터링의 중요성을 강조하며, 이를 위한 음성 기반 감지 시스템의 유용성을 입증한다.