LG AI Research: AAAI-25에서 시계열 예측 효율을 높이는 VarDrop 연구 발표

최근 시계열 예측 분야의 Transformer 모델들은 각 변수를 별도의 토큰으로 처리하는 Variate Tokenization 전략을 사용한다. 하지만 변수의 수가 늘어날수록 계산 비용이 기하급수적으로 증가하며, 기존의 효율적인 학습 전략을 적용하기 어렵다는 한계가 있다.

LG AI Research의 Data Intelligence (DI) Lab은 이러한 문제를 해결하기 위해 VarDrop 알고리즘을 제안했다. 이 연구는 시계열 데이터 내의 변수들이 서로 유사한 패턴을 보이는 '변수 중복성(Variate Redundancy)'에 주목했다.

VarDrop의 핵심 메커니즘은 다음과 같다:

• 적응형 그룹화: 데이터의 분포가 변하는 Covariate Shift 현상에 대응하여, 배치(Batch) 단위로 중복된 변수들을 그룹화한다.
• 효율적 샘플링: 모든 변수를 학습하는 대신, 각 그룹에서 대표적인 변수만을 선택적으로 활용하여 학습 효율을 극대화한다.
• k-DFH 알고리즘: Fourier transform을 활용한 k-Dominant Frequency Hashing을 통해 기존 클러스터링보다 훨씬 빠르게 변수들을 그룹화한다.

이 방식은 정보 손실을 최소화하면서도 학습에 필요한 변수의 수를 획기적으로 줄여, 대규모 서비스 환경에서도 효율적인 시계열 예측 모델 학습을 가능하게 한다.