Journal Archive

데이터 퓨전은 다양한 센서 데이터를 조합하여 활용하는 방법으로, 개별 센서가 취득한 데이터보다 정확하고 유용한 자료를 얻을 수 있다. [11].

양봉상자의 여러 센서 중에서 온도 센서와 사운드 센서를 활용하면 분봉 탐지가 가능함을 확인했기 때문에 이 두 개의 센서 데이터를 퓨전하여, 분봉 발생 탐지 가능성과 신뢰성을 향상시키고자 한다.

예측을 위한 데이터 퓨전에서 칼만 필터(Kalman Filter, KF)기반 알고리즘과 게인 퓨전(Gain Fusion, GF) 기반 알고리즘이 있다. 데이터 손실이 없는 상태에서는 KF 기반 알고리즘이 GF 기반 알고리즘보다 근소하게 우위를 가지고 있고, 데이터 손실이 있는 상태에서는 GF 기반 알고리즘이 KF 기반 알고리즘보다 유의미하게 우위를 가짐을 보여주었다[11].

게인 퓨전은 시간 흐름에 따른 전역 예측치를 다음과 같이 설정한다(식 1, 2). x는 상태 추정치이고 P는 공분산이다. F는 상태전이행렬, G는 공정노이즈 이득행렬, Q는 공정노이즈의 분산이다(공정노이즈의 평균은 0이다).

지역 필터는 다음과 같이 리셋 한다(식 3,4).

지역 이득(K_m)과 지역상태의 측정값(x^m) 업데이트는 다음 식으로 구해진다(식 5, 6). 센서별로 다른 노이즈 레벨을 가지기 때문에 센서별 측정 노이즈 레벨 상수를 γ_m으로 설정하고, ∑1m1γm=1을 만족한다. H는 관찰행렬, R은 측정노이즈 분산행렬, k_m은 센서의 손실을 반영한 칼만이득(Kalman Gain), z는 측정값에 공정노이즈와 측정노이즈를 더한 값이다.

m개의 지역 예측치의 전역 퓨전은 다음과 같다(식 7, 8).

온도와 사운드 센서 데이터를 퓨전하고, 이를 LSTM 학습을 통해 분봉 발생 예측이 가능함을 확인하고자 한다.

LSTM 네트워크는 RNN(recurrent neural network)의 개선된 모델로, RNN의 장기 의존성 문제를 개선한 형태이다. 시계열 데이터를 분류 또는 데이터 사이 장기간의 의존도를 학습할 수 있다. LSTM 네트워크는 입력 층과 LSTM층으로 구분할 수 있는데 입력 층은 시계열 데이터를 입력받고, LSTM 레이어는 시계열 데이터 사이 장기간 의존도를 학습한다[11-13].

다음은 시간 t에서 LSTM 데이터 흐름을 나타낸 것이다. x_t는 관측 값, c_t는 셀 상태, h_t는 히든 상태를 의미한다. 입력게이트 i_t, 리셋 게이트 f_t, 후보 게이트 g_t, 출력 게이트 o_t에 의해 c_t와 h_t가 결정된다(그림 1).

Fig. 1. 
The Data Flow of LSTM

LSTM의 구성요소를 공식화하면 다음과 같다(W: Weight, R: Recurrent Weight, b: Bias).

셀 상태와 히든 상태는 다음과 같다.

여기서 ⊙는 Element-wise 곱을 의미한다.

양봉 관리 및 분봉 발생 탐지 데이터 취득을 위해 컨트롤러로 라즈베리 파이를 사용하였고 무게, 온도, 습도, 사운드 센서를 장착하고 취득된 데이터를 스마트폰으로 전송하는 IoT 양봉 장치를 구현하였다(그림 2). 사용한 센서 및 하드웨어 스펙을 표 1에 나타내었다.

Fig. 2. 
IoT Beehive Monitoring Device

구현된 IoT 양봉 장치를 양봉상자에 설치하여 5월 한 달 동안 60초 간격으로 데이터를 취득하였으며 분봉의 변화가 감지된 구간의 1200개의 데이터를 취득하고 서로 다른 물리량의 범위를 동일하게 맞추기 위해 리스케일링 전처리 후 실험에 사용한다.

그림 3을 통해 사운드와 온도의 경우 출력결과가 선형으로 유사하여 칼만 필터(KF: Kalman Filter) 기반 알고리즘과 게인 퓨전(Gain fusion) 기반 알고리즘으로 퓨전이 가능함을 알 수 있다.

Fig. 3. 
IoT Beehive Sensor Date Logging

연구 [4-6]을 토대로, 온도 데이터에 사운드 데이터를 칼만 필터(KF: Kalman Filter) 기반 알고리즘과 게인 퓨전(Gain fusion) 기반 알고리즘으로 퓨전하여 분봉 예측 데이터로 사용하면 어떤 알고리즘이 개선된 결과를 도출할 수 있을지를 확인하기 위해, 계열 데이터에 특성이 있는 LSTM 네트워크를 통해 분봉 발생 예측을 학습하여 칼만 필터(KF: Kalman Filter) 기반 알고리즘과 게인 퓨전(Gain fusion) 기반 알고리즘 중에서 어떤 알고리즘이 분봉 예측 데이터로서 개선된 결과를 보이는지 실험을 통해 확인한다.

온도와 사운드 데이터를 칼만 필터 기반 알고리즘과 게인 퓨전 기반 알고리즘으로 데이터 퓨전을 하였다. 칼만 필터 기반 알고리즘을 이용한 퓨전(그림 4) 보다 게인 퓨전 기반 알고리즘을 이용한 퓨전(그림 5)에서 온도 및 사운드 데이터 값과 퓨전된 데이터와의 오차가 최소화되고 정합 정도가 우수하여 퓨전이 잘 되고 있는 것으로 판단된다. 칼만 필터 기반 알고리즘과 게인 퓨전 기반 알고리즘 두 경우 모두 퓨전 과정에서 초기 온도와 사운드 데이터의 값도 변경 되어 그림 4, 그림 5와 같이 온도, 사운드와 퓨전된 데이터가 표현 된다.

Fig. 4. 
Fused Data using Kalman Filter-based Algorithms

Fig. 5. 
Fused Data using Gain Fusion-based Algorithms

그림 4와 5는 온도와 사운드를 퓨전한 데이터로, LSTM 네트워크 학습 데이터로 사용하여 분봉을 예측한다. 그림 6의 적색으로 표시한 부분은 퓨전 데이터에서 상자 내부 온도가 33 °C에서 35 °C로 증가하다가 32 °C로 떨어질 때를 의미하며, 분봉 발생이 예측되는 부분이다.

Fig. 6. 
Forecast Area of Swarming for Fused Data

LTSM 학습 환경은, 입력 데이터의 90% 데이터는 학습용 데이터로, 10% 데이터를 검증용 데이터로 사용하였고, LSTM 히든 레이어는 200개, 학습 횟수는 250회, 초기 학습율은 0.005, 그리고 매 125회 학습시마다 0.2씩 학습율을 낮추도록 구성하였다.

그림 7을 통해 데이터 퓨전을 통한 분봉 시기 예측이 가능함을 확인할 수 있고, 그림 8, 9를 통해 칼만 필터 기반 알고리즘을 통한 예측 값의 RMSE(Root Mean Square Error)는 6.7961, 게인 퓨전 기반 알고리즘을 통한 예측 값의 RMSE는 2.5189가 나오는 것으로 보아 게인 퓨전 기반 알고리즘이 더 정확하게 예측할 수 있음을 보여준다.

Fig. 7. 
Forecast of Swarming for Fused Data

Fig. 8. 
RMSE of Kalman Filter-based Algorithms

Fig. 9. 
RMSE of Gain Fusion-based Algorithms