시계열 예측, 트랜스포머가 선형 모델 압도

트랜스포머 기반 모델인 Autoformer가 단순 선형 모델인 DLinear보다 시계열 예측 성능이 우수함을 입증했다.

최근 연구에서 단순 선형 모델인 DLinear가 트랜스포머보다 시계열 예측에 효과적이라는 주장이 제기되었으나, 실험 결과 Autoformer가 주요 데이터셋에서 더 높은 성능을 보이는 것으로 나타났다.

Autoformer는 다음과 같은 두 가지 핵심 메커니즘을 통해 성능을 극대화한다:

Decomposition Layer (분해 계층): 시계열 데이터를 추세(Trend-cycle)와 계절성(Seasonal variation) 성분으로 분해하여 모델이 각 구성 요소를 정확하게 포착하도록 돕는다.
Autocorrelation Mechanism (자기상관 메커니즘): 기존 트랜스포머의 셀프 어텐션(Self-attention)을 대체하여, 주기 기반의 의존성을 활용함으로써 예측 성능을 향상시킨다.

실험 결과, Traffic, Exchange-Rate, Electricity 데이터셋 모두에서 Autoformer가 DLinear보다 낮은 MASE(Mean Absolute Scaled Error)를 기록하며 우수한 예측력을 증명했다.