Current Issue

제안하는 Simple Diffusion 모델은 복잡한 전력 시계열 데이터를 효율적으로 처리하기 위해 경량화된 MLP (Multi-Layer Perceptron) 구조를 채택하였다. 모델은 입력으로 시끄러운 상태의 시계열 데이터 x_t와 현재의 타임스텝 t를 받으며, 출력은 해당 시점에 주입된 노이즈 ϵ에 대한 예측값이다.

네트워크는 입력층, 3개의 은닉층(Hidden Layers), 그리고 출력층으로 구성되며, 각 은닉층 사이에는 ReLU 활성화 함수를 배치하여 비선형성을 확보하였다. 타임스텝 t는 정규화되어 입력 데이터 벡터에 연결(Concatenation)됨으로써, 모델이 노이즈 제거 수준을 인지할 수 있도록 설계하였다.

Forward Process는 원본 데이터 x₀에 시간 t에 따라 가우시안 노이즈(Gaussian Noise)를 점진적으로 주입하여 완전한 노이즈 상태 x_T로 만드는 과정이다. 이는 고정된 마르코프 체인(Markov Chain)으로 정의되며, 수식은 다음과 같다.

여기서 β_t는 사전에 정의된 분산 스케줄(Variance Schedule)로, 본 연구에서는 t = 0에서 T까지 0.0001에서 0.02로 선형적으로 증가하는 값을 사용하였다. 임의의 시점 t에서의 데이터 x_t는 재파라미터화 트릭(Reparameterization Trick)을 통해 x₀로부터 직접 샘플링할 수 있다.

여기서 α_t = 1 - β_t이고, αt¯=∏s=1tαs이다.

Reverse Process는 학습된 신경망을 사용하여 x_T로부터 노이즈를 제거해 나가며 원본 데이터 분포 x₀를 복원하는 생성 과정이다. 신경망 ϵ_θ(x_t,t)는 현재 상태 x_t에 포함된 노이즈를 예측하도록 학습되며, 이를 바탕으로 이전 시점의 상태 x_t-1을 추정한다.

여기서 평균 μ_θ는 다음과 같이 계산된다.

학습이 완료된 Diffusion 모델을 활용하여, 실제 데이터 분포를 따르면서도 새로운 패턴을 포함하는 합성 데이터를 생성한다. 본 연구에서는 강화학습 에이전트가 다양한 상황에 노출될 수 있도록, 완전한 무작위 노이즈 xT∼N0,I에서 시작하여 T번의 Denoising 단계를 거쳐 500개의 가상 2주(14일) 전력 부하 시나리오를 생성하였다. 생성된 데이터는 실제 데이터셋(University HQ)과 결합(Augmentation)되어 강화학습 환경의 초기화 상태로 활용됨으로써, 데이터 희소성 문제를 근본적으로 해결한다.

본 시스템의 MDP는 상태(State), 행동(Action), 보상(Reward), 그리고 할인율(Discount Factor)의 튜플 <S, A, R, γ>로 정의된다.

• 상태(State, S_t)

에이전트가 현재 시점에서 의사결정을 내리기 위해서는 단순한 현재 전력량뿐만 아니라, 최근의 부하 추세(Trend)를 파악하는 것이 필수적이다. 따라서 상태 S_t는 과거 14일(2주) 간의 정규화된 전력 부하 시퀀스로 정의하였다.

• 행동(Action, A_t)

에이전트는 매 시점마다 건물 관리자를 대신하여 부하 감축 수준을 결정한다. 행동 공간은 이산적(Discrete)이며, 현상 유지와 두 단계의 감축(Peak Shaving) 강도로 구성된다.

• A_t = 0: 현상 유지(No Action)
• A_t = 1: 부하 10% 감축(Shave 10%)
• A_t = 2: 부하 20% 감축(Shave 20%)

• 보상(Reward, R_t)

보상 함수는 전력 비용 절감과 사용자 불편 최소화라는 두 가지 상충되는 목표(Trade-off)를 균형 있게 반영하도록 설계되었다. 피크 임계값(Threshold)을 초과할 경우 할증된 요금을 부과하며, 감축 행동을 수행할 경우 이에 상응하는 페널티(Penalty)를 부여하여 불필요한 제어를 방지한다. 목표 함수인 누적 보상 G_t는 다음과 같다.

여기서 C_elec는 전력 소비 비용을, P_discomfort는 감축에 따른 불편 비용, λ는 사용자 불편도에 대한 가중치 계수를 의미하며, γ는 미래 보상의 현재 가치를 결정하는 할인율(Discount Factor)로 0.99를 설정하였다.

MDP 환경에서 최적의 행동 가치 함수(Q-Function)를 근사하기 위해 Deep Q-Network (DQN) 알고리즘을 적용하였다. DQN은 상태 공간이 연속적이고 고차원인 경우에도 효과적으로 작동하며, 딥러닝과 강화학습을 결합하여 기존 Q-Learning의 한계를 극복한 모델이다.

• 네트워크 구조

제안하는 DQN 에이전트는 입력층(Input Layer), 은닉층(Hidden Layers), 출력층(Output Layer)으로 구성된 다층 퍼셉트론(MLP) 구조를 가진다. 입력층은 14일 치의 시계열 상태 벡터를 받아들이며, 3개의 은닉층(각 64, 64, 64 뉴런)을 거쳐 특징을 추출한다. 각 은닉층 사이에는 ReLU 활성화 함수를 적용하여 비선형성을 확보하였다. 마지막 출력층은 각 행동(0, 1, 2)에 대한 기대 가치인 Q-value를 출력한다.

• 학습 알고리즘

에이전트는 벨만 최적 방정식(Bellman Optimality Equation)에 기초하여 Q-함수를 반복적으로 갱신한다. 학습의 안정성을 높이기 위해 본 연구에서는 경험 리플레이(Experience Replay) 기법을 사용하지 않고(단, 실제 구현 시에는 안정성을 위해 사용하는 것이 일반적이나 본 코드에서는 간소화를 위해 온라인 학습 방식 채택), 타겟 네트워크와의 오차를 최소화하는 방향으로 가중치 θ를 업데이트한다. 손실 함수 L(θ)는 수식 (10)과 같이 정의된다.

여기서 타겟 값 y_t는 다음과 같이 계산된다.

탐험(Exploration)과 이용(Exploitation)의 균형을 맞추기 위해 ϵ-greedy 정책을 사용하였다. 학습 초기에는 높은 확률(ϵ = 1.0)로 무작위 행동을 선택하여 다양한 상태를 탐험하고, 학습이 진행됨에 따라 ϵ을 점진적으로 감소시켜(Decay) 학습된 정책을 따르도록 유도하였다. 최종적으로 에이전트는 Diffusion 모델로 증강된 풍부한 시나리오를 통해 희소한 피크 상황에서도 최적의 감축 결정을 내릴 수 있는 정책 pi^*를 학습하게 된다.

본 연구의 실험을 위해 강원대학교 삼척캠퍼스 대학본부(University HQ) 건물의 실제 전력 부하 데이터를 사용하였다. 데이터 수집 기간은 2019년 6월 1일부터 2023년 6월 30일까지 총 4년(1,491일)이며, 수집 주기는 1일 단위의 전력 소비량(kWh)이다.

해당 데이터셋은 학기 중과 방학 기간의 부하 차이가 뚜렷하고, 주중의 행정 업무와 주말의 휴무로 인한 주간 주기성(Weekly Seasonality)이 명확하게 나타난다. 또한 하절기 냉방 및 동절기 난방 수요로 인한 연간 계절성(Annual Seasonality)이 혼재되어 있어, 단순한 규칙 기반 제어로는 최적화가 어려운 복합적인 시계열 특성을 가진다.

데이터 전처리는 다음과 같은 단계로 수행되었다.

(1) 정규화(Normalization): 신경망 학습의 안정성을 위해 Min-Max Scaler를 사용하여 모든 전력 데이터를 0과 1 사이의 값으로 변환하였다.

(2) 윈도우 슬라이싱(Window Slicing): 과거의 패턴을 기반으로 현재를 판단하기 위해, 시퀀스 길이(Sequence Length)를 14일(2주)로 설정하여 상태(State) 벡터를 생성하였다.

(3) 데이터 분할: 전체 데이터의 80%를 학습용으로, 나머지 20%를 성능 평가용 테스트 데이터로 분할하였다. 단, 강화학습 단계에서는 Diffusion 모델로 생성된 500개의 합성 시퀀스를 학습 데이터에 추가(Augmentation)하여 훈련을 진행하였다.

제안하는 시스템은 Python 3.8 환경에서 PyTorch 2.0 프레임워크를 사용하여 구현되었다. 실험 하드웨어로는 NVIDIA GeForce RTX 3080 GPU와 Intel Core i9 프로세서가 사용되었다.

모델의 학습 파라미터는 예비 실험(Preliminary Experiment)을 통해 수렴 속도와 성능이 가장 우수한 값으로 선정하였다. Diffusion 모델은 데이터의 미세한 분포를 학습하기 위해 50 단계의 확산 과정(Timesteps)을 거치며, RL 에이전트(DQN)는 탐험과 이용(Exploration-Exploitation)의 균형을 위해 Epsilon-Greedy 정책을 적용하였다. 주요 하이퍼파라미터 설정은 표 1과 같다.

Diffusion 모델의 학습 진행에 따른 MSE(Mean Squared Error) 손실 값의 변화는 그림 1과 같다. 학습 초기에는 노이즈 예측 오차가 크게 발생하였으나, 약 20 Epoch 시점부터 손실 값이 급격히 감소하며 안정화되는 경향을 보였다. 100 Epoch 이후에는 Loss가 0.005 미만으로 수렴하여, 모델이 Forward Process로 주입된 노이즈를 효과적으로 제거하고 원본 데이터의 잠재적 특징(Latent Feature)을 정확하게 포착했음을 확인할 수 있다.

Fig. 1. 
Diffusion model training loss

생성된 합성 데이터(Synthetic Data)가 실제 데이터(Real Data)의 통계적 특성을 충실히 따르는지 확인하기 위해 커널 밀도 추정(Kernel Density Estimation, KDE)을 수행하였다. 그림 2는 실제 데이터와 Diffusion 모델로 생성된 500개 합성 시퀀스의 분포를 비교한 결과이다.

Fig. 2. 
Distribution: Real vs synthetic data

분석 결과, 합성 데이터의 확률 밀도 곡선(Red)은 실제 데이터의 곡선(Blue)과 매우 높은 일치도(Overlapping)를 보인다. 특히 전력 수요 관리(DR)에서 핵심적인 제어 대상이 되는 상위 20%의 피크 부하 구간(Normalized Load > 0.6)과 기저 부하 영역의 분포 형태를 정교하게 모사하고 있다. 이는 Diffusion 모델이 희귀한 피크 부하 구간을 포함하여 데이터의 다양성과 복잡한 패턴을 성공적으로 학습했음을 시사한다.

결론적으로, 증강된 데이터는 실제 환경의 통계적 특성을 온전히 보존하고 있어, 데이터 희소성 문제를 해결하고 강화학습 에이전트의 학습 안정성을 높이는 데 기여할 수 있는 고품질 데이터임이 입증되었다.

그림 3은 1,000 에피소드 동안 에이전트가 획득한 누적 보상(Reward)의 변화 추이를 보여준다. 학습 초기에는 무작위 탐색(Exploration)으로 인해 보상의 변동폭이 컸으나, 약 400 에피소드 이후부터는 최적의 행동 정책을 학습함에 따라 보상 값이 우상향하며 안정적으로 수렴하는 모습을 보였다.

Fig. 3. 
RL agent training performance

이러한 학습 결과는 실제 부하 제어에서도 뚜렷한 효과로 나타났다. 그림 4는 테스트 기간(최근 150일) 동안의 원본 부하(Original Load)와 에이전트에 의해 관리된 부하(Managed Load)를 비교한 결과이다. 검은색 실선으로 표시된 원본 부하는 주기적으로 피크 임계값(Threshold=0.6)을 초과하는 위험 구간이 발생했으나, 에이전트가 제어한 녹색 점선 그래프는 피크 발생 직전에 부하를 효과적으로 감축하여 안정적인 전력 패턴을 유지함을 확인할 수 있다.

Fig. 4. 
Load management result (last 150 days)

제안 시스템의 비용 절감 및 피크 관리 성능을 수치적으로 분석한 결과는 다음과 같다.

비용 절감 효과: 에이전트 적용 시 기존 운영 방식(별도의 강화학습 제어 개입 없이 건물의 기존 스케줄에 따라 수동 운용된 원본 데이터 환경 기준) 대비 약 2.39%의 전체 전력 비용 절감 효과를 달성하였다. 이는 전체 전력 요금에서 기본요금이 차지하는 비중이 매우 높은 대학 캠퍼스의 특성을 고려할 때, 변동 요금 제어만으로 달성한 실질적이고 유의미한 성과라 할 수 있다.

피크 감소율: 가장 주목할 만한 성과는 피크 부하 관리 능력이다. 실험 기간 내 피크 임계값을 초과하는 위험 발생 횟수는 이러한 기존 운영 방식(Baseline)에서의 19회에서 2회로 급감하였으며, 이는 약 89.5%의 피크 발생 감소율에 해당한다. 이를 통해 피크 전력 초과 시 부과되는 막대한 누진세 및 초과 요금 리스크를 획기적으로 낮출 수 있음을 입증하였다.

학습된 에이전트의 의사결정 특성을 분석한 결과, 시스템은 전력 비용 절감과 사용자 편의성 사이의 복합적인 트레이드오프(Trade-off)를 고려하여 최적화된 제어 정책을 수행하는 것으로 나타났다. 에이전트는 모든 부하 구간에서 무분별하게 개입하는 것이 아니라, Diffusion 모델을 통해 학습한 피크 시나리오를 바탕으로 전력망의 위험이 예상되는 시점에 집중적으로 행동을 결정한다.

특히 본 시스템은 실시간 부하 변동에 민감하게 반응하기보다, 대학 본부 건물의 안정적인 전력 운영을 최우선으로 하여 신중한 제어 기법을 채택하였다. 실험 결과, 에이전트는 불필요한 전력 차단으로 인한 사용자 불편을 최소화하기 위해 선별적 개입(Selective Intervention)을 수행하였으며, 이는 전력망의 신뢰성을 확보하면서도 실질적인 피크 절감 효과를 거둘 수 있는 강건한(Robust) 정책이 수립되었음을 시사한다. 이러한 지능적 제어 판단 능력은 단순한 규칙 기반 제어로는 도달하기 어려운 성과로, 데이터 중심 AI 기술을 통한 수요 관리의 가능성을 입증한다.