Transformers 기반 확률적 시계열 예측 방법론

시계열 예측은 전통적인 ARIMA와 같은 개별적(local) 방식에서 벗어나, 여러 시계열로부터 잠재 표현을 학습하는 글로벌(global) 모델로 진화하고 있다. 특히 단순한 점 예측(point forecasting)을 넘어 예측의 불확실성을 제공하는 **확률적 예측(probabilistic forecasting)**은 실질적인 의사결정 과정에서 매우 중요하다.

Transformer 아키텍처는 다음과 같은 이유로 시계열 예측에 매우 적합하다:

• Encoder-Decoder 구조: 텍스트 생성과 유사하게, 예측된 분포에서 샘플링하여 다음 단계를 예측하는 Ancestral Sampling을 통해 원하는 예측 지평(prediction horizon)까지 예측을 수행할 수 있다.
• Causal-masked Decoder: 학습 시 Teacher Forcing 기법을 적용하여 시계열의 순차적 특성을 효과적으로 학습한다.
• 결측치 처리: 어텐션 메커니즘의 Masking 기능을 활용하면, 별도의 데이터 보간(imputation) 과정 없이도 결측치가 포함된 시계열 데이터를 직접 학습에 활용할 수 있다.