LG AI Research: 시계열 파운데이션 모델의 부상과 분류

시계열 데이터는 주가, 센서 데이터, 날씨 등 시간 축을 가진 데이터로, 미래의 불확실성에 대응하기 위해 AI를 통한 예측이 매우 중요하다. 최근에는 특정 문제에 국한되지 않고 다양한 시계열 문제를 해결할 수 있는 시계열 파운데이션 모델(Time Series Foundation Models) 연구가 활발히 진행되고 있다.

시계열 파운데이션 모델은 크게 두 가지 방법론으로 분류된다. 첫째는 **LLM(Large Language Model)**을 활용하는 방식이며, 둘째는 시계열 데이터만을 위한 별도의 대규모 모델을 직접 구축하는 방식이다.

LLM 기반 방법론은 모델 활용 방식에 따라 세 가지로 나뉜다.

• Without Adaptation: 별도의 학습 없이 프롬프트 설계에 집중한다. 예시인 PrompCast는 텍스트 입출력을 활용하지만, 숫자 토큰화(Tokenization) 문제로 인해 성능 저하가 발생할 수 있다. 이를 해결하기 위해 숫자를 개별 토큰으로 표현하는 LLM-Time 방식이 제안되기도 했다.
• Adapt LLM: LLM이 시계열 도메인에 익숙하지 않다는 전제하에, 시계열 데이터와 LLM을 연결하는 **어댑테이션 레이어(Adaptation Layer)**를 추가하거나 모델 일부를 미세 조정(Fine-tuning)하는 방식이다.
• Adapt to LLM: (본문 생략)