AI BriefingDatadog, 시계열 예측 모델 Toto-2.0 공개
Toto-2.0: Time Series Multivariate Forecasting Finally Scales Like LLMs
·2026.07.09 20:44
핵심 내용
Datadog이 병렬 처리가 가능하고 확장성이 뛰어난 새로운 시계열 예측 모델 Toto-2.0을 발표했다.
자세히 보기
Datadog이 기존 Toto-1.0의 한계를 극복한 새로운 시계열 다변량 예측 모델인 Toto-2.0을 공개했습니다. 이 모델은 다음과 같은 핵심 기술적 특징을 가집니다.
- Contiguous Patch Masking (CPM): 기존의 자기회귀(Autoregressive) 디코딩 방식 대신 단일 병렬 순방향 패스(Single parallel forward pass)를 사용하여 효율성을 높였습니다.
- Arcsinh Normalization: 데이터의 극단적인 스파이크를 압축하면서도 미세한 변동을 명확하게 유지하여 희소 데이터(Sparse data) 처리에 최적화되었습니다.
- NorMuon Optimizer: Pinball loss의 부호가 있는 그래디언트(Sign-valued gradients)를 AdamW보다 훨씬 효과적으로 처리합니다.
- u-µP Hyperparameter Transfer: 1,000만 파라미터 규모의 프록시 모델에서 튜닝된 하이퍼파라미터를 5가지의 서로 다른 타겟 크기 모델에 그대로 재사용할 수 있어 확장성이 뛰어납니다.
이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.