Journal Archive

특이치는 데이터 분포에서의 편향성을 가지게 되어, 데이터 분석의 결과가 왜곡될 수 있다. 따라서, 특이치를 탐지하는 것은 데이터 예측을 위해 중요하다.

특이치 탐지에 관한 연구는 일찍부터 지속적으로 진행되어 오고 있다. Hoaglin 등[7]은 정규 분포, 지수 분포 등을 따르는 일변량 데이터에서 특이치를 탐지하는 방법을 제시하였다. Fried[8]은 비모수적(Nonparametric) 방법으로 시계열 데이터에 대해서 특이치를 탐지하는 알고리즘을 제시하였다. 또 Choi 등[9]은 주가 데이터에 대해서 분위수 자기회귀모형을 활용한 알고리즘으로 특이치를 탐지하는 방법을 제시하였다.

일반적으로 특이치는 밀도, 분위수, 거리 기반으로 탐지한다. 또한 간헐적으로 정지하는 물체를 탐지하는 특이치 탐지연구[10]가 있다. 계층적 기능을 추가한 가우시안 나이브 베이즈(Gaussin Naive Bayes) 기법을 이용하여 소매업체의 온라인과 오프라인의 거래량 특이치를 탐지하여 고객의 신뢰를 지키는 연구[11]가 있다. 그리고 농산물 관련 특이치 탐지를 통해 사재기 사고를 식별하기 위한 시스템[12]에서 통계 방법으로 ARIMA(Auto-regressive Integrated Moving Average)와 SARIMA(Seasonal ARIMA)를 이용한 연구가 있다. 트리 기반 방법인 Isolation Forest[13] 연구가 있다. 시계열 예측에 관하여 SARIMA는 계절성을 포함한 모델이지만 일반적으로 통계적인 방법보다 딥러닝 방법을 이용한 예측이 성능이 좋다는 연구가 있다[14].

본 연구에서는 사분 범위를 기반으로 하는 기존의 특이치 탐지 기법을 변형하여, 일정 구간으로 나누어서 특이치를 탐지한다.

가격 예측에 관한 연구는 통계적인 방법과 딥러닝 방법으로 나누어 볼 수 있다. 통계적인 방법으로는 ARIMA 모델이 있고, 시계열 데이터의 계절성을 포함한 SARIMA 모델[4]이 있다. 딥러닝 방법으로는 LSTM((Long Short-Term Memory) 기반 자연재해가 농산물 가격에 미치는 영향을 예측한 연구[15]가 있다.

또한, 농산물 가격 예측에서 딥러닝 기반 연구[3], 농산물 가격 예측 모델로 인공신경망의 성능에 영향을 미치는 은닉층의 수, 학습률, 모멘텀 등을 비교하여 예측 정확도를 높인 인공신경망의 은닉층 최적화 연구[16], CNN(Convolutional Neural Network) 모델과 LSTM 모델을 결합한 복합 CNN-LSTM을 사용한 가격 예측 모델[2] 등 딥러닝을 이용하여 농산물 가격 예측하는 연구들이 있다. 본 연구에서는 특이치에 대한 처리를 통한 정상 시계열 데이터 변환을 통해서 기존의 LSTM 기반 가격 예측 모델의 성능을 평가한다.

기존의 특이치 탐지 연구에서 보편적으로 많이 사용하는 방법은 사분위수 범위(InterQuartile Range; IQR)를 이용한 상자수염그림(Box-and-whisker plot) 방법[17]이다. 이는 제1사분위수와 제3사분위수 사이 범위인 사분범위(IQR)를 이용하여 IQR 값에 1.5를 곱한 값보다 크거나 작은 값인지 확인한다.

본 연구에서는 농산물 가격 데이터의 특성을 고려하여 월별 기간으로 기준을 나누어 사분위를 적용한다. 또한 계절성의 특징을 가진 농산물 가격 변동 데이터를 기간별로 특이치를 탐지하여 계절성의 특징을 완화하여 탐지한다.

그림 2는 배추 가격 변동 데이터에 대한 기존 사분위수 특이치 탐지를 표현한 것이다. 아래외 위의 빨간색 선 범위 밖의 값들을 특이치로 탐지한다. 배추 가격은 계절에 따라 즉, 모종기간이나 수확기간에 따라 가격의 변동에 있어서 차이가 크게 나는 것을 확인할 수 있다. 이는 수확 기간 또는 모종 심는 기간이 특이치로 표현된 것으로 기존 사분위수 특이치 탐지 방법의 한계를 나타내는 것이다. 즉, 배추의 가격 변동에 있어서는 9월의 가격에 비해 6월의 가격이 전반적으로 낮은 가격이라는 것을 볼 수 있다. 그런데, 6월의 가격 변동에 있어서 특이치가 생기는 경우, 기존의 특이치 탐지 방법으로는 탐지할 수 없다. 반면, 9월의 가격 변동에 있어서는 특이한 상황이 아닌데도 특이치로 탐지될 수 있다.

Fig. 2. 
Traditional quartile outlier detection

그림 3은 본 연구에서 제안하는 월별 사분위수로 특이치를 탐지한 것을 나타낸다. 배추 가격 데이터를 월별로 구간을 나누어 특이치 구간을 탐지하여 계절성을 가진 데이터의 계절성을 반영하여 특이치를 탐지할 수 있다. 실험 결과 분석을 통해 기존방법(그림 2)에서는 특이치가 135개 탐지되는 것을 제안방법(그림 3)에서는 9월에서 10월까지의 계절성을 반영하여 특이치 탐지가 많이 줄어들어 특이치를 59개 탐지하는 것을 볼 수 있다.

Fig. 3. 
Proposed monthly quartile outlier detection

농산물 품목마다 모종 심는 기간과 수확 기간이 다르므로, 그 기간을 따로 반영하여 특이치를 판단하는 것이 보다 정확할 수 있으나 다양한 품목에 같이 적용할 수 있는 방법인 월별로 기간을 나누었다.

정상((stationary) 시계열은 정상성을 가진 시계열 데이터이다. 통계적 특성을 나타내는 평균과 분산이 시점이 다르더라도 일정한 성질을 갖는 것을 정상성이라 한다. 따라서 농산물 가격 데이터에서 계절성의 특징을 제거하여 정상성을 갖는 데이터로 변환함으로써 보다 객관적인 특이치를 탐지할 수 있다. 비정상(non-stationary) 시계열은 시계열 데이터의 일정 기간의 평균을 나타내는 수준이 시점에 따라 달라지는 특징이 있고, 계절성이나 추세를 가지는 경우에는 진동 폭도 달라진다는 특징이 있다.

Box 등[18]은 확률적 추세를 지닌 비정상 시계열 데이터의 경우, 두 값을 뺀 차이를 계산하는 차분 연산(difference operation)을 통해서 추세를 제거하고 정상 시계열로 변환하는 방법을 제시하였다. Cleveland 등[19]은 n차 차분 연산을 이용하여 추세나 계절성을 제거하였다. Loess를 사용한 계절성과 추세 분해(Seasonal Trend decomposition using Loess; STL) 기법을 이용하여 주기를 확인하였다.

본 연구에서도 농산물 가격 데이터에 대해 시계열 분석을 위해서 차분 연산을 이용해 비정상 시계열 데이터를 정상 시계열 데이터로 변환한다. 그림 4는 배추 가격에 대한 STL 시계열 분해를 나타낸 것으로, 계절성(Seasonal)이 7 시차이고, 추세와 주기를 제외한 나머지(Resid) 부분을 확인할 수 있다. 또 농산물 데이터의 가격 특징은 수확시기와 명절 등 1년을 주기로 하는 계절성을 가지므로, 365 시차 차분도 확인할 수 있다. 365 시차 차분 연산 개념은 흔히 언론 보도에서 전년도 가격과 비교하는 방법이다.

Fig. 4. 
STL Time Series Decomposition

정상성 검증을 통해 정상 시계열 데이터임을 확인하기 위해 자기상관(AutoCorrelation Function; ACF) 값으로 시각적으로 확인하였다. 정상 시계열 데이터는 시각적으로 ACF 값이 비교적 짧은 시차에 0으로 떨어지는 것으로 확인할 수 있다. 그림 5에서 배추 가격에 대한 7 시차 차분과 365 시차 차분을 통해 ACF 값을 구하면 7 시차 차분 연산이 정상성을 가진다는 것을 볼 수 있다.

Fig. 5. 
Price autocorrelation (ACF)

또한, 시계열 데이터가 정상성을 가지는지를 판단하기 위해, 단위근 검정(unit root test) 방법인 ADF(Augmented Dickey-Fuller) 검정법을 이용한다[20]. 본 실험에서는 농산물 가격 데이터에서 배추뿐만 아니라 무, 양파 가격에 대해서도 7 시차 차분에서 p-value가 0.05 이하를 나타내므로 정상성을 나타내는 시계열임을 확인할 수 있었다.

정상 시계열 데이터에서는 시점이 다르더라도 통계적 특성이 일정하므로 월별 구간으로 나눌 필요가 없으므로, 본 연구에서는 그림 6과 같이 정상 시계열로 변환한 데이터에 대해서 기존의 사분범위를 적용하여 특이치 구간을 탐지하였다 .

Fig. 6. 
Outlier interval detection for stationary time series data

특이치 처리를 위해 보편적으로 사용하는 방법은 값 삭제, 전체 값의 평균, 최소값, 최대값, 특정 비율로의 대체 등 다양하게 이용되고 있다. 이러한 방법들은 범위가 전체 데이터를 기준으로 하여 계절성이 없는 데이터에 적합한 특이치 처리 방법이다.

본 연구에서는 이동평균법의 범위를 조정하여 특이치를 처리한다. 또한, 가중치를 조정하여 특이치를 처리하는 기법을 적용하였다. 계절성 특성이 있는 농산물 데이터에 적용하기 위해 적용 범위를 전체 데이터에서 특이치가 탐지된 구간으로 <시작 범위, 끝 범위>를 조정함으로써 가격 변동 데이터의 특성에 맞게 적용하여 처리한다.

이동평균법을 적용할 때, 해당 시차에 가까울수록 가중치를 높게 설정하고, 시차가 멀수록 가중치의 값이 작도록 설정함으로써 가중치를 조정하여 특이치 처리를 하였으나, 실제 특이값의 영향이 커질 수 있는 오류가 있어서 본 연구의 실험에서는 좋은 성능을 내지 못했다.

본 연구에서는 월별 사분위수를 이용한 특이치 탐지를 하고, 이동평균법의 범위를 조정 처리를 거친 데이터에 대해서 시계열 데이터에 대한 예측 모델에서 좋은 성능을 보인 LSTM 딥러닝 모델[21]을 이용하여 가격 예측을 한다.

제안방법의 유효성을 검증하기 위해 시계열 데이터에서 사용하는 예측 모델인 ARIMA모델, Prophet 모델[22] 및 원(raw) 데이터에 대한 LSTM 모델과 비교 실험한다. ARIMA 모델은 시계열 데이터를 분석하고 예측하는 데 사용되는 통계 모델로, 시계열 데이터의 자기 상관 관계를 파악하여 정상성을 확보한 후 예측하는 모델이다. Prophet 모델은 페이스북에서 개발한 시계열 예측 라이브러리로, 시계열 데이터에 대한 예측을 수행할 수 있다. 계절성, 휴일 등과 같은 일상생활에서 반복되는 패턴을 자동으로 감지하고 이를 고려하여 예측을 수행한다. LSTM 모델은 시계열 데이터에 대해 예측하는 딥러닝 모델이다. 시계열 데이터에서 패턴을 학습하여 다음 시점의 값을 예측하는데 사용된다. 과거의 가격 데이터를 입력으로 받아서 다음 시점의 가격을 예측한다.

본 연구의 실험을 통해 농산물 가격 변동 데이터에 대한 LSTM 모델을 기반으로 한 가격 예측 실험 결과와 본 연구에서 제안한 특이치 탐지와 특이치 처리를 통해 정상 시계열로 변환한 데이터에 대한 LSTM 모델 기반 가격 예측 실험의 결과를 비교하여 유효성을 검증한다.

특이치 탐지와 처리 방법이 유효하다면, 정상 시계열 데이터에서의 딥러닝 기반 가격 예측 모델에의 적용이 유효함을 확인할 수 있을 것이다.

본 연구에서 사용한 실험 데이터는 표 1에 나타나 있다. 농산물유통정보(Korea Agricultural Marketing Information Service; KAMIS)에서 공개한 농산물 가격 데이터를 이용하였다. KAMIS 사이트(http://kamis.or.kr)의 오픈API(Application Programming Interface)를 이용하여 2006년부터 2019년까지 14년 동안의 일일 가격 변동 데이터를 수집하였다.

도매업체의 일일 가격 데이터가 제공되고 있는 품목 중 채소류에 대해 모든 기간에 대해 데이터가 존재하는 품목은 16개이다. 품목 형태는 품목그룹명(채소류)-품목명(배추)-품종명(봄배추)라고 상세화 되어 있다. 본 실험을 위해 품목명(배추)로 평균 가격으로 대체하였다. 품종별 큰 가격 차이가 나는 상품은 공정성을 위해 제외하였다. 상품의 등급은 상품, 중품으로 나뉘어져 있는데 두 개의 그룹의 흐름이 비슷하여 비교를 위해 상품 등급의 가격으로 정하였다.

본 연구에서의 실험은 일일 가격 데이터로, 가격 정보가 연속적으로 있어야 하는데 농산물유통 가격 데이터에는 공휴일과 주말의 값이 존재하지 않아 선형보간법을 이용하여 결측값을 대체하였다. 즉, 데이터 전처리로 결측값 바로 이전과 이후의 유효한 값의 중간값으로 대체하였다. 본 연구의 실험에 사용한 농산물 품목은 배추, 무, 양파이다.

특이치 탐지 비교 실험을 위해 기존 사분위수 특이치 탐지 결과, 365시차 차분, 월별 사분 범위 특이치 탐지, 그리고 제안 방법인 월별사분범위 탐지에 대해 정상시계열 데이터로 변환 후 특이치를 탐지한 결과가 표 2에 나타나 있다.

본 실험 결과에서는 김장철에 많은 수요가 있는 배추와 무의 가격 변동 그래프가 매우 유사하게 나타났다. 그러나 무의경우 가격 상승폭이 배추보다 크게 발생하여, 비정상 시계열 데이터에서 특이치를 올바르게 탐지하지 못하는 문제가 발생했다. 이로 인해 배추와 무의 특이치 탐지 개수에 차이가 발생하게 되었다. 또한, 양파의 특이치 탐지 결과에서는 최대 3만원까지 아주 큰 폭으로 자주 상승하는 현상이 있어서, 365 시차 단위로 비교하게 되면 가격 변동의 특이치를 잘못 탐지하거나 탐지가 되지 않았다.

본 연구에서의 비정상 시계열 데이터에 대한 기존의 특이치 탐지보다 사분범위 월별 구간을 변형하여 처리함으로써 특이치에 대한 의미 있는 탐지가 가능해졌음을 알 수 있다. 본 연구에서 제안한 방법에서는 계절성을 제거하고 특이치를 탐지하여 정상 시계열 데이터로 변환한 것에 대한 탐지에서는 다른 방법에서 탐지하지 못한 것을 탐지할 수 있었다. 특이치 탐지에 대한 실험 결과의 영향은 특이치 처리를 통한 가격 예측 실험에서 그 효과를 확인할 수 있다. 본 연구는 특이치 탐지[23]를 확장한 특이치 처리 및 예측 연구이다.

가격 예측을 위한 실험 데이터는 표 3에 나타나 있다. 모델 파라미터 설정을 위하여 학습데이터로 2006년부터 2016년까지의 11년간의 데이터를 이용하였고, 검증을 위한 데이터는 2017년 1년간의 데이터, 테스트 데이터는 2018년 1년간 데이터를 이용하여 각 예측 모델의 성능을 비교 평가하였다.

성능측정 방법으로는 평균 제곱근 오차(RMSE; Root Mean Square Error)과 평균 절대비 오차(MAPE; Mean Absolute Percentage Error)를 사용하였다. RMSE는 크기 의존적 오류율을 표현하는 것이고, MAPE는 비율 오류율을 표현하는 것이다.

농산물 가격 예측 모델의 비교 실험 방법은 다음과 같다.

• - ARIMA: 통계 모델인 ARIMA 모델 기반 예측
• - Prophet: 시계열 예측 모델인 Prophet 기반 가격 예측
• - LSTM: 비정상 시계열 데이터에 대한 LSTM 모델 기반 가격 예측
• - 제안 방법(Proposed): 특이치 탐지 및 처리를 통한 정상시계열 데이터 변환 후 LSTM 모델 기반 가격 예측

농산품 배추, 무, 양파에 대해 가격 예측 모델에 대한 비교실험 결과는 표 4에 나타나 있다. 또한, 실험 데이터(학습/개발/테스트)의 데이터 기간을 다르게 한 경우에 대한 비교실험에서도 제안한 특이치 탐지 및 특이치 처리를 통한 LSTM 모델이 더 좋은 성능이 보임을 확인하였다.

본 연구에서 제안한 특이치 탐지 및 처리를 통한 정상 시계열 데이터에서의 가격 예측 방법이 절대비 오차(MAPE)와 평균제급근 오차(RMSE)에 대해서 성능이 제일 좋음을 확인할 수 있다.