NVIDIA, Kumo Tabular 파운데이션 모델 공개

NVIDIA가 표 데이터용 오픈 파운데이션 모델 Kumo Tabular을 공개했다. 이 모델은 학습, 튜닝, 피처 엔지니어링 없이 단일 순방향 패스로 분류와 회귀를 수행한다. NVIDIA Kumo Structured 모델 컬렉션의 일부로, LLM의 인컨텍스트 학습 원리를 표에 적용해 사전 학습된 모델이 레이블이 지정된 표를 컨텍스트로 읽고 가중치 업데이트 없이 새 행을 예측한다.

아키텍처 및 학습

TabICL 및 TabPFN과 유사한 열, 행, 인컨텍스트 어텐션 메커니즘을 기반으로 한 Transformer 구조를 사용한다. 주요 아키텍처 특징은 다음과 같다:

• 셀 임베딩: 수치 및 범주형 값에 푸리에 특성을 사용하며, 결측값은 보간 없이 특별 처리한다.
• 행 임베딩: 값 분포를 이해하기 위한 열 어텐션과 행 내 토큰 상호작용을 학습하는 행 어텐션을 결합한다.
• 인컨텍스트 학습: 컨텍스트 행은 서로 어텐션하고, 쿼리 행은 컨텍스트 행에만 어텐션하여 컨텍스트 키/값의 효율적 재사용을 가능하게 한다.
• 길이 인식 어텐션 온도: 키 수에 따라 어텐션 온도를 로그 스케일로 조정하여 표 크기가 증가해도 날카로운 어텐션을 유지한다.

학습은 구조적 인과 모델(SCM)로 생성된 인공 데이터에만 의존한다. 표 구조 샘플링, 랜덤 인과 그래프를 통한 숨겨진 변수 연결, 결측 패턴 및 이상치와 같은 현실적 결함 주입 과정을 거친다. 28M에서 215M 매개변수 크기의 세 가지 모델이 제공되며, 각각 약 3500만에서 1억 3700만개의 인공 표로 학습되었다.

성능 및 벤치마크

단일 RTX 6000 Pro에서 평가된 Kumo Tabular은 새로운 정확도-효율성 프론티어를 제시한다:

• TabArena: ELO 1950으로 종합 1위를 기록했으며, LimiX-2보다 추론 속도가 17배 빠르다.
• BeyondArena: ELO 1418로 종합 1위를 기록했다.
• TALENT: 분류 정확도, 로그 손실, 회귀 RMSE 모두에서 종합 1위를 차지했다.
• ScoringBench: Kumo Tabular-Large가 예측 분포 벤치마크에서 1위를 기록했다.

제한 사항 및 사용법

모델은 수치 및 범주형 열을 직접 지원하며, 텍스트, 이미지, 타임스탬프는 내장 전처리 레시피를 통한 피처 변환이 필요하다. 분류 시 단일 순방향 패스는 최대 10개 클래스를 지원하며, 더 많은 클래스에는 오류 수정 출력 코드를 사용한다. 배포 전, 특히 쿼리 분포가 컨텍스트와 다를 경우 홀드아웃 데이터에서 정확도와 캘리브레이션을 검증해야 한다.

모델은 OpenMDW-1.1 라이선스(상업적 사용 허용)로 structured-data-models GitHub 저장소와 Hugging Face 가중치를 통해 제공된다. 전처리, 앙상블, 가중치 다운로드를 처리하는 NVIDIA의 GPU 네이티브 sdm 라이브러리를 통해 접근할 수 있다.