[AAAI-25] 변수 중복성을 완화하여 시계열 예측 모델 학습 효율을 높이는 연구 - LG AI Research BLOG

최근 시계열 예측에서 널리 쓰이는 변수 토큰화(Variate Tokenization) 전략은 변수 수가 늘어날수록 연산 비용이 이차적으로 증가하는 한계가 있습니다. 특히 다변량 시계열 데이터 내의 높은 **변수 중복성(Variate Redundancy)**은 모델이 불필요한 정보를 처리하게 만들어 학습 효율을 저해합니다.

LG AI연구원 DI Lab이 AAAI-25에서 발표한 VarDrop은 이러한 중복 변수를 배치마다 적응적으로 그룹화하고 대표 변수만을 샘플링하여 학습에 활용하는 새로운 접근법입니다. 이 알고리즘은 크게 두 단계로 작동합니다.

• k-Dominant Frequency Hashing (k-DFH): 푸리에 변환을 적용해 상위 k개의 주파수를 해시값으로 활용하며, 기존 클러스터링보다 훨씬 적은 비용으로 변수를 그룹화합니다.
• Stratified Sampling: 동일한 해시값을 가진 변수 그룹에서 대표 변수를 추출하여 학습에 사용합니다.

VarDrop은 하이퍼파라미터 k(그룹 해상도)와 gs(그룹 내 샘플링 수)를 통해 성능과 비용 사이의 트레이드오프를 조절할 수 있습니다. 실험 결과, 단순히 토큰을 줄이는 것을 넘어 랜덤 샘플링보다 우수한 예측 성능을 입증하며 연산 시간과 메모리 사용량을 크게 절감할 수 있음을 보여주었습니다.