데이터 퓨전 전처리와 인공신경망을 활용한 스마트 양봉

Ⅰ. 서 론

4차 산업혁명 기술이 여러 분야에 접목되고 있다. 이를 농업에 적용시켜 편의성과 생산성을 높이기 위해 스마트팜(Smart Farm)이 도입되었다. 사물 인터넷(IoT)과 농업 데이터 마이닝을 활용한 자동제어체계를 도입한 스마트팜은 사람의 행위 없이 최적의 환경에서 높은 생산성 향상을 보여주고 있다 [1].

양봉(beekeeping)은 벌을 기르는 분야로, 밀원의 감소 및 생육환경의 변화 그리고 양봉에 영향을 주는 매개변수(온도, 습도, 소음, 분봉 등)가 다양하여 양봉상자의 관리에 어려움을 격고 있으며, 사물 인터넷(IoT) 기술이 접목 되는 경우 양봉 관리의 어려움을 해소할 수 있는 스마트팜(Smart Farm)의 좋은 사례가 될 수 있다.

양봉에 사물 인터넷(IoT)을 도입할 경우 양봉상자 내부의 모니터링을 위한 센서의 선택과 상이한 여러 센서 데이터들의 해석, 합성 및 주성분 선택을 통해 분봉 시점을 예측하고 분봉 예측의 정확도를 높이는 것이 과제가 된다.

양봉에 스마트팜 기술을 적용한 기존 연구를 살펴보면, 양봉상자 내부 온도 변화에 관한 연구와 양봉상자 내부 사운드 변화에 관한 연구로 나눌 수 있다.

온도 변화에 관한 연구로, 양봉상자 내부 온도 값을 측정하여 일정 구간에서 온도 변화 발생 시 분봉이 발생함을 보여주었다[2]. 또한, 상자 내부가 고온일 경우 꿀벌의 스트레스 상황을 모니터링 하고 분봉이 발생하는 시점을 탐지할 수 있다고 하였다[3]. 분봉은 상자 내부 온도 변화가 33 °C에서 35 °C로 변할 때 시작되어 실제 분봉이 일어나는 시기는 32 °C로 떨어질 때이다. 상자 내부 온도와 사운드 및 습도 사이 관련성이 크지 않지만 사운드를 보조적으로 활용하여 판단이 필요하다고 하였다[4].

사운드 변화에 관한 연구로, 상자 내부 사운드 패턴 분석을 통해 내부 벌의 비정상적 움직임 발생 탐지가 가능함을 보였다[5]. 그리고 상자 내부 사운드 변화 값을 주성분분석(PCA)을 활용하여 분봉 신호 식별 및 이를 통해 분봉 발생 이전에 예측이 가능하다는 것을 보였다[6].

그리고 양봉 사물인터넷에 관한 연구로 다양한 센서들(무게, 습도, 온도, 사운드)을 분석하고 활용하여 양봉 상태를 낮은 전송 에너지로 관리할 수 있음을 보였다[7].

위의 연구들을 종합하면 양봉상자 온도 변화가 중요하고, 사운드 변화도 중요한 데이터로 사용이 가능하며, 무게와 습도는 모니터링용 보조 데이터로 사용할 수 있음을 알 수 있다.

데이터 합성에 대한 연구로 선형 모델인 경우 게인 퓨전(Gain fusion) 알고리즘, 칼만 필터(Kalman filter) 알고리즘을 통해 퓨전이 가능하고 비선형 모델인 경우 EKF(extended KF)나 DFKF(derivative-free KF)를 통해 퓨전이 가능하다[8].

양봉 데이터와 유사한 시계열 데이터를 분류 또는 데이터 사이 장기간의 의존도를 학습할 수 있는 인공 신경망에 대한 연구로 RNN(Recurrent Neural Network)이 사용되고 있으며, 장기 의존성 문제를 해결하고, 일반화를 잘 할 수 있는 알고리즘인 LSTM(Long Short-Term Memory)이 적용 가능하다[9, 10].

본 논문에서는 양봉 생태환경 모니터링 및 분봉 발생 탐지할 수 있도록 다양한 센서(온도, 습도, 사운드, 무게)를 탑재한 IoT 양봉상자를 구성, 일정 기간 동안 데이터를 취득하였다. 다양한 데이터 분석 및 학습을 원활하게하기 위해 온도 및 사운드 값을 GF(Gain Fusion)를 사용한 데이터 퓨전(data fusion)을 통해 데이터 전처리를 하고 LSTM 학습을 수행하여 에러율을 구한다. 비교를 위해 KF(Kalman Filter) 데이터 퓨전 및 LSTM 학습과 차이가 있는지를 제시한다.

2장에서는 게인 퓨전 기반 알고리즘과 LSTM 네트워크를 정리하고, 3장에서는 구현한 IoT 양봉 장치에 대한 설명 및 데이터 취득 과정에 대하여 설명한다. 4장에서는 실험결과를 통한 결론을 설명한다.

Ⅱ. 데이터 퓨전과 LSTM

2-2 LSTM(long short-term memory)

온도와 사운드 센서 데이터를 퓨전하고, 이를 LSTM 학습을 통해 분봉 발생 예측이 가능함을 확인하고자 한다.

LSTM 네트워크는 RNN(recurrent neural network)의 개선된 모델로, RNN의 장기 의존성 문제를 개선한 형태이다. 시계열 데이터를 분류 또는 데이터 사이 장기간의 의존도를 학습할 수 있다. LSTM 네트워크는 입력 층과 LSTM층으로 구분할 수 있는데 입력 층은 시계열 데이터를 입력받고, LSTM 레이어는 시계열 데이터 사이 장기간 의존도를 학습한다[11-13].

다음은 시간 t에서 LSTM 데이터 흐름을 나타낸 것이다. x_t는 관측 값, c_t는 셀 상태, h_t는 히든 상태를 의미한다. 입력게이트 i_t, 리셋 게이트 f_t, 후보 게이트 g_t, 출력 게이트 o_t에 의해 c_t와 h_t가 결정된다(그림 1).

Fig. 1.

The Data Flow of LSTM

LSTM의 구성요소를 공식화하면 다음과 같다(W: Weight, R: Recurrent Weight, b: Bias).

$\[ i_t={\sigma }_g\left(W_i{x}_t+R_i{h}_{t-1}+b_i\right) \]$

(8)

$\[ f_t={\sigma }_g\left(W_f{x}_t+R_f{h}_{t-1}+b_f\right) \]$

(9)

$\[ g_t={\sigma }_c\left(W_g{x}_t+R_g{h}_{t-1}+b_g\right) \]$

(10)

$\[ o_t={\sigma }_g\left(W_o{x}_t+R_o{h}_{t-1}+b_o\right) \]$

(11)

셀 상태와 히든 상태는 다음과 같다.

$\[ c_t=f_t\odot c_{t-1}+i_t\odot g_t \]$

(12)

$\[ h_t={\sigma }_t\odot {\sigma }_c\left(c_t\right) \]$

(13)

여기서 ⊙는 Element-wise 곱을 의미한다.

Ⅲ. IoT 양봉 장치 구현 및 데이터 취득

3-1 IoT 양봉 장치

양봉 관리 및 분봉 발생 탐지 데이터 취득을 위해 컨트롤러로 라즈베리 파이를 사용하였고 무게, 온도, 습도, 사운드 센서를 장착하고 취득된 데이터를 스마트폰으로 전송하는 IoT 양봉 장치를 구현하였다(그림 2). 사용한 센서 및 하드웨어 스펙을 표 1에 나타내었다.

Fig. 2.

IoT Beehive Monitoring Device

Table. 1.

Hardware Specification

3-2 초기 데이터 취득 및 정규화

구현된 IoT 양봉 장치를 양봉상자에 설치하여 5월 한 달 동안 60초 간격으로 데이터를 취득하였으며 분봉의 변화가 감지된 구간의 1200개의 데이터를 취득하고 서로 다른 물리량의 범위를 동일하게 맞추기 위해 리스케일링 전처리 후 실험에 사용한다.

그림 3을 통해 사운드와 온도의 경우 출력결과가 선형으로 유사하여 칼만 필터(KF: Kalman Filter) 기반 알고리즘과 게인 퓨전(Gain fusion) 기반 알고리즘으로 퓨전이 가능함을 알 수 있다.

Fig. 3.

IoT Beehive Sensor Date Logging

연구 [4-6]을 토대로, 온도 데이터에 사운드 데이터를 칼만 필터(KF: Kalman Filter) 기반 알고리즘과 게인 퓨전(Gain fusion) 기반 알고리즘으로 퓨전하여 분봉 예측 데이터로 사용하면 어떤 알고리즘이 개선된 결과를 도출할 수 있을지를 확인하기 위해, 계열 데이터에 특성이 있는 LSTM 네트워크를 통해 분봉 발생 예측을 학습하여 칼만 필터(KF: Kalman Filter) 기반 알고리즘과 게인 퓨전(Gain fusion) 기반 알고리즘 중에서 어떤 알고리즘이 분봉 예측 데이터로서 개선된 결과를 보이는지 실험을 통해 확인한다.

Ⅳ. 실험 결과

4-1 온도, 사운드 데이터 퓨전

온도와 사운드 데이터를 칼만 필터 기반 알고리즘과 게인 퓨전 기반 알고리즘으로 데이터 퓨전을 하였다. 칼만 필터 기반 알고리즘을 이용한 퓨전(그림 4) 보다 게인 퓨전 기반 알고리즘을 이용한 퓨전(그림 5)에서 온도 및 사운드 데이터 값과 퓨전된 데이터와의 오차가 최소화되고 정합 정도가 우수하여 퓨전이 잘 되고 있는 것으로 판단된다. 칼만 필터 기반 알고리즘과 게인 퓨전 기반 알고리즘 두 경우 모두 퓨전 과정에서 초기 온도와 사운드 데이터의 값도 변경 되어 그림 4, 그림 5와 같이 온도, 사운드와 퓨전된 데이터가 표현 된다.

Fig. 4.

Fused Data using Kalman Filter-based Algorithms

Fig. 5.

Fused Data using Gain Fusion-based Algorithms

4-2 LSTM 학습 및 예측

그림 4와 5는 온도와 사운드를 퓨전한 데이터로, LSTM 네트워크 학습 데이터로 사용하여 분봉을 예측한다. 그림 6의 적색으로 표시한 부분은 퓨전 데이터에서 상자 내부 온도가 33 °C에서 35 °C로 증가하다가 32 °C로 떨어질 때를 의미하며, 분봉 발생이 예측되는 부분이다.

Fig. 6.

Forecast Area of Swarming for Fused Data

LTSM 학습 환경은, 입력 데이터의 90% 데이터는 학습용 데이터로, 10% 데이터를 검증용 데이터로 사용하였고, LSTM 히든 레이어는 200개, 학습 횟수는 250회, 초기 학습율은 0.005, 그리고 매 125회 학습시마다 0.2씩 학습율을 낮추도록 구성하였다.

그림 7을 통해 데이터 퓨전을 통한 분봉 시기 예측이 가능함을 확인할 수 있고, 그림 8, 9를 통해 칼만 필터 기반 알고리즘을 통한 예측 값의 RMSE(Root Mean Square Error)는 6.7961, 게인 퓨전 기반 알고리즘을 통한 예측 값의 RMSE는 2.5189가 나오는 것으로 보아 게인 퓨전 기반 알고리즘이 더 정확하게 예측할 수 있음을 보여준다.

Fig. 7.

Forecast of Swarming for Fused Data

Fig. 8.

RMSE of Kalman Filter-based Algorithms

Fig. 9.

RMSE of Gain Fusion-based Algorithms

Ⅴ. 결론 및 평가

IoT 양봉상자를 양봉 관리 및 분봉 발생 탐지에 활용 가능성이 있음을 보였다. 특히 분봉과 관련한 센서 데이터 중에서 사운드와 온도 데이터의 출력결과가 선형으로 유사하여 퓨전이 가능하고, 게인 퓨전(Gain fusion) 기반 알고리즘으로 퓨전하여, LSTM 네트워크 학습의 분봉 예측 데이터로 사용한 경우, 칼만 필터를 사용한 경우에 비해 RMSE가 낮아 정확도가 높아지는 개선된 결과를 보였다.

LSTM 네트워크 학습 전 데이터 퓨전을 통해 분봉을 정확하게 예측할 수 있었던 것을 개선하여, 이번 연구를 통해 LSTM 네트워크 학습 전 데이터에 알맞은 데이터 퓨전 알고리즘 선택에 따라 데이터 및 학습결과의 신뢰성 향상이 가능함을 제시하였고, 이를 활용하여 분봉 예측 정확성 개선 및 학습 데이터에 맞는 알맞은 데이터 퓨전 알고리즘 선택 필요성을 제시하였다.

Acknowledgments

이 논문은 2017년도 정부(과학기술정보통신부)의 재원으로 한국연구재단 -현장맞춤형 이공계 인재양성 지원사업의 지원을 받아 수행된 연구임(No. 2017H1D8A1028271).

참고문헌

• J. Muangprathub, “IoT and agriculture data analysis for smart farm, Computers and Electronics in Agriculture, Vol.156 pp.467-474, January, 2019 [https://doi.org/10.1016/j.compag.2018.12.011]
• A. Zacepins, “Remote detection of the swarming of honey bee colonies by single-point temperature monitoring,” Biosystems Engineering, Vol.148 pp. 76-80, 2016. [https://doi.org/10.1016/j.biosystemseng.2016.05.012]
• D. S. Kridi, “Application of wireless sensor networks for beehive monitoring and in-hive thermal patterns detection,” Computers and Electronics in Agriculture, Vol. 127 pp. 221-235, 2016. [https://doi.org/10.1016/j.compag.2016.05.013]
• S. Ferrari, “Monitoring of swarming sounds in bee hives for early detection of the swarming period,” Computers and Electronics in Agriculture, Vol. 64, Issue 1, pp. 72-77, 2008. [https://doi.org/10.1016/j.compag.2008.05.010]
• M. Bencsik, “Identification of the honey bee swarming process by analysing the time course of hive vibrations,” Computers and Electronics in Agriculture, Vol. 76 pp. 44-50, 2011. [https://doi.org/10.1016/j.compag.2011.01.004]
• N. Pérez, “Continuous monitoring of beehives’ sound for environmental pollution control,” Ecological Engineering, Vol. 90 pp. 326-330, 2016. [https://doi.org/10.1016/j.ecoleng.2016.01.082]
• F. Edwards-Murphy, “b+WSN: Smart beehive with preliminary decision tree analysis for agriculture and honey bee health monitoring,” Computers and Electronics in Agriculture, Vol. 124, pp. 211-219, 2016. [https://doi.org/10.1016/j.compag.2016.04.008]
• B. Paik, “Gain fusion algorithm for decentralised parallel Kalman filters”, IEE Proc.-Control Theory Appl., Vol. 147, pp. 97-103, 2000 [https://doi.org/10.1049/ip-cta:20000141]
• H. Sepp, “Long short-term memory”, Neural Computation, Vol. 9, pp. 1735-1780, 1997 [https://doi.org/10.1162/neco.1997.9.8.1735]
• K. Kwon, “Forecast of Bee Swarming using Data Fusion and LSTM”, Journal of Digital Contents Society, Vol. 20, pp. 1-6, 2019 [https://doi.org/10.9728/dcs.2019.20.1.1]
• J. R. Raol, Multi-Sensor Data Fusion with MATLAB, Baton Rouge: CRC Press, 2010. [https://doi.org/10.1201/9781439800058]
• The MathWorks, Inc. Long Short-Term Memory Networks - LSTM Layer Architecture. Available: https://www.mathworks.com/help/deeplearning/ug/long-short-term-memory-networks.html, .
• L. Donghyun, “LSTM RNN-based Korean Speech Recogniti on System Using CTC,” Journal of Digital Contents Society, Vol. 18, No. 1, pp. 93-99, 2017. [https://doi.org/10.9728/dcs.2017.18.1.93]