TabPFN-3, 100만 행 지원

TabPFN-3가 공개되며 tabular 데이터 예측을 학습 없이 단일 forward pass로 처리하는 최신 foundation model이 나왔다.

확장성

• 단일 H100에서 최대 100만 행까지 처리한다.
• TabPFN-2.5 대비 10배 큰 규모이며, row-chunked inference와 축소된 KV cache로 실용성을 높였다.
• 추정 KV cache는 estimator당 100만 행당 약 8GB 수준이다.

속도

• 이전 버전 대비 추론이 10배~1000배 빨라졌다.
• SHAP은 KV caching 덕분에 120배 빨라졌다고 밝혔다.

성능

• API 전용 Thinking Mode는 test-time compute로 추가 fitting을 수행해 TabArena에서 비-TabPFN 방법들보다 200 Elo 이상 높았다.
• 큰 데이터 구간에서는 격차가 420 Elo까지 벌어졌고, classical ML 대비 93% 승률을 제시했다.

기능과 배포

• 최대 160개 클래스를 지원하는 non-parametric retrieval decoder를 제공한다.
• calibrated quantile regression용 bar-distribution head로 한 번의 forward pass에서 예측 구간을 낸다.
• 시계열, 해석가능성, 관계형 벤치마크에서도 개선을 주장한다.
• API, enterprise licensing, open-source weights의 3가지 배포 경로를 제공한다.