Toto 2.0: 시계열 예측이 스케일링 시대에 들어서다

Datadog이 오픈웨이트 시계열 예측 모델 패밀리 Toto 2.0을 4m~2.5B 파라미터 규모로 공개했다. 이번 버전은 모델을 키울수록 성능이 계속 좋아지는 스케일링을 확인했고, 2.5B에서도 포화 징후가 보이지 않았다.

벤치마크 성능도 강했다. BOOM, GIFT-Eval, TIME에서 모두 최상위권을 차지했으며, BOOM에서는 모든 크기가 파레토 프런티어 위에 올랐다. GIFT-Eval에서는 가장 큰 세 모델이 foundation model 기준 선두를 지켰고, 전체 리더보드에서는 2.5B FT와 Toto 2.0 Family and Friends(FnF) ensemble이 1, 2위를 가져갔다.

학습 데이터는 observability와 synthetic data 중심이었고, 사전학습에 공공 forecasting 데이터는 쓰지 않았다. 그럼에도 일반 목적 벤치마크까지 잘 일반화했으며, Toto 1.0 대비 같은 품질을 내는 데 필요한 파라미터가 약 7배 줄었고 추론도 훨씬 빨라졌다.

평가에서는 CRPS와 MASE를 함께 봤다. CRPS는 확률적 예측 분포의 품질을, MASE는 시즌성 naive baseline 대비 점 예측 정확도를 측정해 생산 환경에 더 가까운 비교를 가능하게 한다.

앞으로의 과제로는 장기 horizon에서 classical baseline과의 격차를 더 줄이는 일, 데이터 큐레이션 개선, downstream value를 반영하는 평가 설계, 그리고 multimodality 확장이 제시됐다. 모델 가중치와 분산 학습 인프라 라이브러리 dd_unit_scaling은 모두 Apache 2.0으로 공개됐고, 곧 학습 데이터와 아키텍처, u-μP 하이퍼파라미터 전이 파이프라인을 담은 기술 보고서도 나올 예정이다.