TAR: 스마트팜 센서 시계열 데이터를 위한 적응적 페널티 가우시안 NLL 기반의 실시간 이상 탐지 모델

2-1 스마트팜 관련 모델

스마트팜 분야의 인공지능 연구는 주로 농업 생산성을 향상시키고 자원 효율성을 최적화하는 데 초점을 맞추고 있다. 초기에는 작물의 수확량을 예측하거나, 특정 환경 변수와 생육 상태 간의 상관관계를 분석하는 연구가 주를 이루었다. 최근에는 딥러닝 기술인 합성곱 신경망(CNN, convolutional neural network) 모델을 이용해 작물의 질병을 조기 진단하거나 해충을 탐지하는 연구나 순환 신경망(RNN, recurrent neural network) 모델을 이용해 센서 시계열 데이터를 분석하여 생육 환경을 예측하는 연구 등이 있다[3],[4].

2-2 시계열 이상 탐지 모델

시계열 데이터에서 이상치를 탐지하는 주요 딥러닝 기법은 작동 원리에 따라 크게 재구성 기반, 생성 기반, 예측 기반의 세 가지 범주로 분류할 수 있으며, 각 방법론은 고유한 특성과 한계를 지닌다[5]. 재구성 기반 기법은 정상 시계열을 잠재 공간으로 인코딩 후 재구성하는 과정에서 재구성 오차가 큰 경우를 이상치로 판단하며, 모델이 정상 패턴의 핵심 특징만을 학습하여 비정상적인 입력의 재구성을 어렵게 만든다. 그러나 압축 과정에서 세밀한 시간적 특징이 손실될 가능성이 존재한다[6]. GAN(generative adversarial network) 구조를 활용하는 생성 기반 기법은 정상 데이터의 분포를 정교하게 학습하고, 주로 판별자 점수와 재구성 손실을 조합하여 이상치 점수를 계산한다[7]. 이런 기법은 정상 패턴에 대한 정교한 모델링이 가능하지만, GAN 모델 특유의 학습 불안정성 문제가 수반된다. 마지막으로 예측 기반 기법은 과거 서열을 기반으로 미래의 정상 상태를 예측하고 예측 오차를 이상 점수로 사용하여, 스트리밍 환경의 실시간 탐지에 유리하다[8]. 다만, 예측해야 할 미래 윈도의 길이를 최적으로 설정하는 것이 성능에 중대한 영향을 미친다는 한계가 있다. 국내 스마트팜과 축산 분야에서는 예측 기반 기법이 주로 사용되고 있으며, 시계열 예측의 오차율을 이상 탐지 허용 범위로 사용한 연구나 예측 시계열 윈도의 평균과 표준편차를 사용해 동적인 허용 범위를 계산하는 연구가 있다[9],[10]. 본 논문에서 제안하는 모델은 실시간 이상 탐지에 유리한 예측 기반 기법을 사용하며, 예측의 불확실성을 모델링하기 위해 정규분포를 예측하도록 모델을 설계하였다.

3-1 실험 대상 스마트팜

본 논문의 실험 대상 수직농장형 스마트팜은 그림 1과 같이 재배실이 약 90평 규모이며, 두 대의 메인 공조기(덕트형)와 8대의 천장형 에어컨으로 온도 및 습도를 제어하고 있다. 내부는 8개의 재배대로 구성되어 있으며 2개의 구역(A, B)으로 나누어 온도, 습도, 이산화탄소 정보를 수집하고 있다.

Fig. 1.

Diagram of the target smart farm

생육 환경 모니터링용 센서는 A구역 2번, 3번 재배대 사이와 B 구역 6번, 7번 재배대 사이에 2개가 설치되어 있다. 또한 재배대마다 양액 탱크를 설치하여 양액량을 조절하여 공급하고 있으며, 양액 탱크 안에는 전력량, 산성도, 수온 정보 수집이 가능한 센서를 설치하여 양액 정보를 확인하고 있다.

그림 2와 같이 재배대별로 설치된 제어장치를 통해 LED의 광량을 제어하여 주요 생산품인 엽채류(프릴아이스 크리스피아노) 생육에 적합한 환경을 조성하고 있으며, 해당 엽채류를 하루에 약 90kg 정도 생산하고 있다.

Fig. 2.

Vertical grow stand

3-2 TAR 모델

실시간 이상 탐지를 위한 TAR 모델은 그림 3과 같이 길이가 n인 시계열을 입력하면 각 입력 시간 단계의 다음 단계에서의 예측 시계열을 출력한다. 길이가 n+1인 출력 시계열의 각 예측은 DeepAR과 같이 정규분포의 매개변수 형태인 평균 μ과 표준편차 σ로 예측값과 예측의 불확실성을 함께 표현할 수 있다[2].

Fig. 3.

TAR model architecture

입력 시계열의 각 원소는 먼저 선형변환을 통해 d차원의 토큰 벡터 공간으로 투영(projection)된다. 입력 x에 대한 선형변환의 정의는 식 (1)과 같다.

이때 선형변환을 위한 행렬 W와 편향 벡터 b를 포함하고 있어 실질적으로는 아핀(affine) 변환이다. 변환된 토큰 서열 가장 앞에 서열의 시작(beginning of sequence)을 표현하는 <BOS> 토큰을 결합하며, 해당 토큰은 임의로 초기화된 다음에 학습 과정에서 최적화된다. 그리고 절대 위치 인코딩(absolute positional encoding) 정보를 토큰에 더해주는데 이는 트랜스포머가 서열을 이루는 각 토큰의 위치와 순서를 구별할 수 있도록 하기 위함이다[1].

TAR 모델의 트랜스포머 블록은 두 개의 내부 블록을 통해 식 (2)의 과정으로 실행된다.

트랜스포머 블록의 첫 번째 내부 블록은 제곱평균제곱근 정규화(RMSNorm, root mean square normalization)가 적용된 서열에 인과적 주의(causal attention)을 적용한 후 원래 서열과 더해주는 잔차 연결(residual connection)로 구성된다[11]. 두 번째 내부 블록은 첫 번째 내부 블록의 인과적 주의 부분이 다층퍼셉트론(MLP, multi layer perceptron)으로 교체된 것을 제외하면 같은 구조를 가진다.

제곱평균제곱근 정규화는 식 (3)과 같이 정의되며, 입력 서열 $$ X\in {\mathbb{R}}^{\left(n+1\right)\times d}$$의 각 토큰 벡터를 해당 벡터의 제곱평균제곱근으로 나누는 방식으로 정규화를 수행하여 학습 중에 기울기가 과도하게 커지는 것을 방지한다[12].

이때 γ_j는 벡터의 각 원소의 크기를 조절하는 매개변수, ϵ은 0으로 나누는 것을 방지하기 위한 상수를 의미한다. 제곱평균제곱근 정규화는 기존 트랜스포머에 주로 사용하던 층 정규화(LayerNorm)와 비교해 성능은 비슷하게 유지하면서 연산량이 상대적으로 작은 장점이 있어 최근 거대언어모델 등에서 많이 사용하고 있다[13],[14].

인과적 주의는 서열에서 토큰 간의 정보교환이 발생하기 때문에 트랜스포머 블록에서 가장 핵심적인 부분이며 식 (4)와 같은 과정으로 실행된다.

먼저 입력 서열 X를 선형변환하여 X와 동일한 모양의 질의 Q, 키 K, 값 V 서열을 만들고, Q와 K 서열 간의 모든 토큰 벡터 쌍의 내적으로 이루어진 행렬 QK^T를 $$ \sqrt{d}$$로 나누어 유사도 행렬을 구한다. 여기서 k번째 예측은 과거(첫 번째 토큰에서 k-1번째 토큰까지)의 서열만 고려하도록 인과적 마스크(causal mask)를 적용하는데, 식 (5)와 같이 유사도 행렬의 하삼각 행렬 부분을 제외한 부분을 음의 무한대 값으로 변경시켜 행렬 $$ M\in {\mathbb{R}}^{\left(n+1\right)\times \left(n+1\right)}$$을 만든다.

그리고 마스크가 적용된 유사도 행렬 M에 식 (6)의 각 행에 대한 소프트맥스를 적용하면 각 행의 합이 1인 주의 가중치 행렬이 계산된다.

이렇게 계산된 주의 가중치 행렬과 V를 행렬곱하고, 마지막으로 선형변환을 거치면 인과적 주의가 적용된 토큰 서열 X′이 구해진다[1].

다층퍼셉트론은 식 (7)과 같이 두 개의 선형변환 층과 하나의 비선형 활성화 층으로 구성되어 있으며, 토큰 간의 정보를 종합하는 주의 연산과 달리 각 토큰별로 복잡한 비선형적 특징을 추출한다.

SiLU(sigmoid linear unit)의 정의는 식 (8)과 같으며, 입력에 시그모이드를 적용한 결과를 게이트로 사용하는 방식의 비선형 활성화 함수다[15].

최종 예측을 위한 헤드 블록은 식 (9)와 같은 과정으로 실행된다. 트랜스포머 블록에서 출력된 토큰에 먼저 정규화를 적용한 다음에 선형변환을 통해 정규분포의 매개변수인 μ와 σ를 구한다.

이때 DeepAR과 같은 방식으로 예측하는 표준편차 σ를 0보다 큰 양수로 만들기 위해서 식 (10)의 소프트플러스 함수를 추가로 적용한다[2].

3-3 이상 탐지를 위한 손실함수

이상 탐지를 위해서 정규분포의 매개변수인 평균과 표준편차를 예측하도록 TAR 모델을 최적화해야 한다. 식 (11)은 단변량 정규분포의 확률밀도함수(PDF, probability density function)를 나타내며, 이를 통해 목표값 x가 주어지면 예측된 정규분포에서 우도를 계산할 수 있다.

식 (12)는 정규분포에서 음의 로그 우도 함수를 나타내며 TAR 모델 학습 시에 손실함수로 사용할 수 있다.

GaussianNLL의 첫 번째 항은 σ를 작게 만드는 항이며, 두 번째 항은 x와 μ간의 거리를 줄이고 σ를 크게 만드는 항이다. 하지만 그림 5에서 확인할 수 있듯이 GaussianNLL을 손실함수로 사용한 모델은 정상 데이터를 이상으로 잘못 탐지하는 FP(false positive)가 많이 발생하는 문제가 있다. 이는 학습 과정에서 모델이 우도를 최대화하기 위해 σ를 과도하게 작게 만들어 예측의 불확실성을 과소평가하는 문제로 보인다.

위에서 언급한 문제를 완화하기 위해 식 (13)과 같이 GaussianNLL의 첫 번째 항에 0보다 크고 1보다 작은 가중치 상수 λ와 예측 표준편차인 σ를 적응적 페널티로 곱한 손실함수인 APG-NLL을 제안한다.

4-1 실험 데이터

실험을 위한 대상 스마트팜의 A 구역 센서(CO₂, 온도, 습도) 시계열 데이터는 2025년 8월 1일 자정부터 8월 29일 자정까지 총 4주간 1분 단위로 수집되었다. 시계열 데이터 수집 과정 중에 다양한 문제로 발생한 결측치는 결측 전, 후 데이터의 선형 내삽(linear interpolation)을 사용해 대체하였다.

그림 4는 전체 데이터집합과 딥러닝을 위한 데이터 분할을 보여준다. 시계열 데이터 수집 기간 중 공급용 이산화탄소가 소진되어 실제로 이상이 발생한 첫 번째 주를 테스트용, 두세 번째 주를 학습용, 네 번째 주를 검증용으로 설정하였다. 따라서 학습용과 검증용 데이터는 모두 이상이 없는 데이터다.

Fig. 4.

Visualization of dataset and split

표 1은 학습용 데이터의 3가지 센서 시계열에 대한 통계인 최소, 최대, 평균, 표준편차를 보여준다.

Table 1.

Statistics of training data

4-2 모델 학습 및 추론 방식

모델에 입력되는 시계열은 식 (14)와 같이 학습용 데이터의 평균 μ_data와 표준편차 σ_data로 표준화(standardization)하도록 전처리하였다.

이는 입력 데이터의 평균이 0, 표준편차가 1이 되도록 만들어 딥러닝이 원활하게 수행되도록 만들어 준다. 그리고 이상 상황이 발생한 센서의 값이 다른 센서의 예측에도 영향을 주기 때문에, 3가지 센서 시계열을 하나의 다변량 모델로 학습하지 않고 같은 구조를 가지는 3개의 단변량 모델로 학습하였다.

표 2는 딥러닝을 위한 초매개변수를 보여준다. TAR 모델은 최대 60분 길이의 시계열 데이터를 입력으로 다음 1분을 포함한 최대 61분 길이의 시계열 정규분포를 출력하도록 구성하였으며, 언어 모델과 같은 자기 회귀(auto regressive) 학습 방식을 따른다. 그리고 학습 과정 중에 과적합을 방지하기 위하여 검증용 데이터에 대한 손실이 가장 낮을 때의 모델을 최종 추론용 모델로 선택하였다.

Table 2.

Hyperparameters for deep learning

TAR 모델은 다양한 길이의 시계열을 입력받거나 자기 회귀 방식으로 2분 이상의 길이의 미래 시계열도 예측할 수 있지만, 성능 측정을 위한 추론 시에는 60분 길이의 슬라이딩 윈도를 입력하는 방식으로 다음 1분의 결과를 예측하였다. 이는 TAR 모델의 목적이 장기간의 미래 시계열을 예측하는 것이 아니라 실시간으로 센서 시계열의 이상을 탐지하는 것이기 때문이다.

4-3 이상 탐지 기준과 예측 결과

평균과 분산을 알고 있는 정규분포 N(μ,σ²)에서 2시그마 규칙을 사용해 관측값이 95.45%로 떨어지는 예측 구간 [μ-2σ, μ+2σ]을 계산할 수 있다. 따라서 관측값이 예측 구간을 벗어나면 해당 데이터를 이상으로 탐지하도록 구현하였다.

그림 5의 (a)는 GaussianNLL을 손실함수로 학습한 모델 의 예측 결과이며, (b)는 APG-NLL에서 페널티 상수 λ를 0.1로 설정하고 학습한 모델의 예측 결과를 보여주는데 최초 60분의 데이터는 입력으로만 사용하므로 예측치가 없다.

Fig. 5.

Prediction result for test data

GaussianNLL을 사용한 모델은 예측 구간이 상대적으로 좁아서 짧은 시간에 급격하게 값이 변하는 구간에서 FP가 많이 발생하는 결과를 보여주었다. 반면에 APG-NLL을 사용한 모델은 상대적으로 예측 구간이 넓어서 해당 구간에서 FP를 줄인 결과를 보여주었다. 하지만 예측 구간이 너무 넓을 경우, 반대로 이상 데이터를 정상으로 잘못 탐지하는 FN(false negative)이 발생할 수 있으므로 데이터집합에 적합한 초매개변수 λ를 찾아야만 한다.

표 3은 GaussianNLL과 여러 가지 λ를 적용한 APG-NLL로 학습한 모델을 사용해 이상이 없는 검증용 데이터에 대해 1단계 예측 성능을 MAPE와 FP로 보여준다. 식 (15)는 평균절대백분율오차(MAPE, mean absolute percentage error)의 정의이며, L은 예측에 사용된 시계열의 길이를 의미한다.

Table 3.

1-step prediction performances for validation data

GaussianNLL을 사용한 모델과 비교해서 APG-NLL을 사용한 모델은 예측 능력이 조금 감소하지만, 정상 데이터에 대한 FP가 확실히 줄어든 것을 확인할 수 있다.

표 4는 실제로 이상 상황이 발생했던 테스트용 CO₂ 데이터에 대한 이상 탐지 성능을 식 (16), 식 (17), 식 (18)의 정밀도(precision)와 재현율(recall), F₁ 점수로 나타낸 것이며, TP(true positive)는 이상으로 탐지한 데이터가 실제로 이상인 경우를 의미한다.

Table 4.

Anomaly detection performances for test CO2 data

GaussianNLL을 사용한 모델은 정밀도가 0.912로 해당 데이터에서 탐지한 이상 중에 약 8.8%가 FP인 결과를 보여주었다. 반면에 APG-NLL을 사용한 모델은 전체적으로 재현율이 약간 낮아졌지만 높은 정밀도로 FP를 제거하는 결과를 보여주었다. 또한 정밀도와 재현율을 모두 고려한 F₁ 점수에서 APG-NLL의 초매개변수 λ를 0.1로 설정한 모델이 가장 좋은 이상 탐지 성능을 보여주었다.

본 연구에서 TAR 모델의 추론 시간 측정은 Intel Core i7-13700 CPU, 16GB RAM 및 Windows 11 운영체제로 구성된 환경에서 수행되었다. GPU를 사용하지 않은 환경에서, TAR 모델은 60분 길이의 입력 데이터를 처리하는 데 약 58 마이크로초가 소요되는 것으로 확인되었다. 이러한 추론 성능은 스마트팜 센서의 이상을 실시간(1분 단위)으로 탐지하는 본 연구의 목표를 달성하기에 충분한 것으로 판단된다.