시계열 예측, 트랜스포머가 선형 모델 압도

최근 연구에서 단순 선형 모델인 DLinear가 트랜스포머보다 시계열 예측에 효과적이라는 주장이 제기되었으나, 실험 결과 Autoformer가 주요 데이터셋에서 더 높은 성능을 보이는 것으로 나타났다.

Autoformer는 다음과 같은 두 가지 핵심 메커니즘을 통해 성능을 극대화한다:

• Decomposition Layer (분해 계층): 시계열 데이터를 추세(Trend-cycle)와 계절성(Seasonal variation) 성분으로 분해하여 모델이 각 구성 요소를 정확하게 포착하도록 돕는다.
• Autocorrelation Mechanism (자기상관 메커니즘): 기존 트랜스포머의 셀프 어텐션(Self-attention)을 대체하여, 주기 기반의 의존성을 활용함으로써 예측 성능을 향상시킨다.

실험 결과, Traffic, Exchange-Rate, Electricity 데이터셋 모두에서 Autoformer가 DLinear보다 낮은 MASE(Mean Absolute Scaled Error)를 기록하며 우수한 예측력을 증명했다.