Journal Archive

데이터 퓨전은 유용한 정보를 창출할 목적으로 여러 센서로부터 취득한 자료를 조합하는 것으로, 취득한 자료를 최소화하는 절차를 거쳐 신뢰성이나 판별력을 개선해 나가는 처리 방법이다[8].

관련 연구[4, 5]로부터, 양봉 상자의 여러 센서 값 중에서 온도와 사운드는 분봉 발생 탐지를 위해서 상호 보완적이므로, 온도와 사운드 센서 값을 퓨전(fusion)한 데이터를 사용하여, 분봉 발생 탐지의 신뢰성이나 판별력을 개선하고자 한다.

데이터 퓨전에 있어 선형 모델인 경우 칼만 필터(KF: Kalman Filter)를 통해 퓨전이 가능하고 비선형 모델인 경우 EKF(extended KF)나 DFKF(derivative-free KF)를 통해 퓨전이 가능하다.

온도와 사운드 센서 값은 선형 모델로 볼 수 있으므로 칼만 필터를 통해 퓨전한다. 칼만 필터는 각 센서 데이터에 독립적으로 적용되어 필터링된 결과, 즉 시간 흐름에 따른 상태 추정치(state estimate) X와 공분산 P을 구한다(식 1, 2)[8].

다음으로 칼만게인 K를 계산하고 측정값 Z로 상태 추정치와 공분산을 보정하며(식 3, 4, 5), 추정과 보정의 과정을 반복한다.

퓨전은 두 독립적인 상태 추정치의 가중 합을 사용하여 상태추정치들을 결합하여 구하며, 사용되는 가중 인자는 공분산 매트릭스를 사용한다.

퓨전된 상태와 공분산 매트릭스는 다음 식으로 구해진다(식 6, 7).

- X1^과 X2^는 각각 센서 1, 2의 측정치를 필터 벡터 1, 2로 필터링하여 추정한 상태 벡터들이다.
- P1^과 P2^는 필터 1과 2로부터 추정된 상태 에러 공분산( estimated state error covariance )이다.

온도와 사운드 센서 값을 퓨전(fusion)한 데이터에 대하여, LSTM 네트워크를 사용하여 학습하고 분봉 발생을 예측하고자 한다.

LSTM 네트워크는 RNN(recurrent neural network)의 한 형태로서 타임 시리즈 데이터에 대해서 분류 하거나 긴 시간 동안의 의존도를 학습할 수 있다. LSTM 네트워크는 입력 층과 LSTM층으로 구성된다. 입력 층은 타임 시리즈 데이터를 입력하는 층이고 LSTM층은 타임 시리즈 데이터간의 긴 시간 동안 의존도를 학습하는 층이다[9-11].

다음 그림은 시간 t에서 LSTM 데이터 흐름을 나타낸 것이다. x_t는 관측값, c_t는 셀 상태, h_t는 히든 상태를 의미한다. 입력게이트 i_t, 리셋 게이트 f_t, 후보 게이트 g_t, 출력 게이트 o_t에 의해 c_t와 h_t가 결정된다(그림 1).

Fig. 1. 
The Data Flow of LSTM

LSTM의 구성요소를 공식화하면 다음과 같다(W: Weight, R: Recurrent Weight, b: Bias).

셀 상태와 히든 상태는 다음과 같다.

양봉 관리 및 분봉 발생 탐지 데이터 취득을 위해 컨트롤러로 라즈베리 파이를 사용하였고 무게, 온도, 습도, 사운드 센서를 장착하고 취득된 데이터를 스마트폰으로 전송하는 IoT 양봉 장치를 구현하였다(그림 2). 사용한 센서 및 하드웨어 스펙을 표 1에 나타내었다.

Fig. 2. 
IoT Beehive Monitoring Device

IoT 양봉 장치를 양봉 상자에 부착하여 분봉이 가장 많이 일어나는 5월 한 달간 60초 간격으로 데이터를 취득하고 정규화를 통해 전처리하였다. 그림 3을 통해 온도와 사운드는, 상호 보완적이고 선형 모델로 볼 수 있으므로, 칼만 필터를 통해 퓨전(fusion)하고, 퓨전된 데이터를 LSTM 네트워크를 사용하여 학습하여 분봉 발생 예측에 사용한다.

Fig. 3. 
IoT Beehive Sensor Data Logging

온도와 사운드 데이터 각각에 대해서 칼만 필터를 적용하여 추정 값과 측정값을 표시하였고 잔차(residual)를 나타내었다(그림 4).

Fig. 4. 
Estimated and Measured Position and Residual of Temperature, Sound

온도와 사운드 데이터에 대해서 위치(position)와 데이터 이동 속도(velocity)를 구하고, 데이터 퓨전(data fusion)을 통해 온도와 사운드 데이터를 합성하였다(그림 5).

Fig. 5. 
Position and Velocity of Temperature, Sound and Fused Data

그림 5는 온도, 사운드 그리고 퓨전된 데이터에 대한 공분산을 표시한 것으로, 퓨전된 데이터에 대한 공분산이 온도와 사운드 데이터의 공분산 보다 낮으므로, 데이터 퓨전을 통해 예측정확도가 개선되고 불확실성이 감소되었음을 의미한다(그림 6).

Fig. 6. 
Norm of Covariances for Temperature, Sound and Fused Filter

그림 7은 그림 5에서 온도, 사운드를 퓨전한(fused Position) 데이터 플롯으로, LSTM의 입력으로 사용되어, 데이터 값이 피크 파형인 경우를 예측하는 데이터로 사용된다. 점선으로 표시한 부분은, 양봉 상자의 내부 온도가 33 °C에서 35 °C로 증가하다가 32 °C로 떨어질 때로 분봉 발생으로 예측되는 영역이다.

Fig. 7. 
Fused State of Temperature & Sound

LTSM 학습은 반복 학습 250회, 초기 학습율 0.005, 학습율을 매 125회 마다 0.2씩 감소시키도록 설정하였다. 그림 8은 LTSM 학습을 통해 기존 측정데이터에 기반을 두어 예측한 값을 표시하였다. 그림 9에서 퓨전 데이터와 분봉 예측 데이터 간의 RMSE가 6.1558로 매우 양호한 수준의 에러율을 표시하고 있다.

Fig. 8. 
Forecast of Swarming for Fused Data

Fig. 9. 
RMSE of Fused Data