Mistral AI, 시계열 모델 Timestral 공개

Mistral AI가 Timestral을 공개했다. 이 모델은 **제로샷 예측(zero-shot forecasting)**을 위한 시계열 파운데이션 모델군으로, 5M, 28M, 123M, 209M 파라미터 크기의 오픈소스 체크포인트를 제공한다. 벤치마크 결과 재현을 위해 소스 코드는 GitHub에 공개됐다.

모델 아키텍처 및 기능

이 모델은 시간 어텐션(time attention)과 변수 어텐션(variate attention)을 갖춘 패치 기반 트랜스포머(patch-based transformer) 아키텍처를 사용한다. 주요 기술 사양은 다음과 같다:

• 아키텍처: 24개 레이어, 임베딩 차원 768.
• 패칭: 패치당 32개 타임스텝을 처리하며, 결측값 지시자와 함께 값을 임베딩한다.
• 컨텍스트 윈도우: 최대 32,768개 과거 타임스텝(1,024개 패치)을 수용한다.
• 예측 기간: 단일 순방향 패스(forward pass)에서 최대 1,024개 스텝을 생성하며, 더 긴 기간은 블록 단위로 반복 예측한다.

예측 기능

Timestral은 단변량 및 다변량 예측을 지원하며, 과거 전용 및 알려진 미래 공변량(숫자 또는 범주형)을 처리한다. 0.01부터 0.99까지 21개 분위수에 걸친 확률적 예측을 제공한다. 결측값은 NaN 마커로 처리되며, PyTorch를 통해 CPU 또는 GPU에서 추론할 수 있다.