테이블 데이터를 위한 Transformer? 변신 로봇은 아닙니다

Tabular data는 실무에서 가장 자주 만나는 데이터지만, 컬럼 의미와 분포가 제각각이고 숫자형·범주형이 섞여 있어 모델링이 까다롭다. 오랫동안 XGBoost와 LightGBM 같은 전통적 모델이 강세를 유지해 온 이유도 여기에 있다.

여기서 등장한 변화가 TabPFN(Prior-data Fitted Network) 이다. 수백만 개의 합성 테이블 데이터로 미리 학습한 뒤, 새로운 테이블이 들어오면 그 패턴을 바탕으로 빠르게 추론하는 방식이다. 즉, 문제마다 모델을 새로 학습시키는 대신 사전학습된 Foundation model을 활용하는 방향으로 테이블 예측 영역이 이동하고 있다.

TabPFN의 핵심은 학습과 예측의 경계가 흐려진다는 점이다. 학습 데이터와 예측할 데이터를 하나의 context로 함께 넣고, 모든 행과 열이 서로를 참고하며 관계를 해석한다. 이 구조 덕분에 별도 장시간 학습 없이도 비교적 짧은 시간 안에 예측을 수행할 수 있다.

실무적으로는 다음 상황에서 특히 의미가 있다.

• 데이터가 적은 경우: 신규 점포, 신규 카테고리, 특정 이벤트처럼 샘플이 부족할 때 안정적인 baseline 후보가 된다.
• 빠른 의사결정이 필요한 경우: 튜닝과 재학습에 시간이 오래 걸리지 않아 초기 검증 속도를 높일 수 있다.
• 비교용 모델이 필요한 경우: 기존 운영 모델이 실제로 개선된 것인지 확인하는 참조 모델로 활용할 수 있다.

다만 TabPFN이 기존 모델을 완전히 대체하는 것은 아니다. 데이터가 크고 특성 설계와 튜닝 리소스가 충분한 경우에는 여전히 XGBoost와 LightGBM이 더 나은 성능을 낼 수 있다. 메시지는 분명하다. 테이블 데이터 영역도 이제는 “매번 새로 학습하는 모델”에서 “사전학습된 모델을 가져다 쓰는 방식”으로 조금씩 이동하고 있다.