TAPEX: SQL 실행 기반 테이블 사전 학습

TAPEX(Table Pre-training via Execution)는 테이블 질의응답(Table QA) 성능을 높이기 위해 사전 학습과 다운스트림 태스크 간의 간극을 줄이는 방법론이다.

핵심은 실제 데이터 대신 SQL 쿼리와 그 실행 결과를 활용한 **합성 데이터(Synthetic Data)**를 사전 학습 코퍼스로 사용하는 것이다.

• 학습 프로세스: 테이블에서 SQL 쿼리를 샘플링하고, 이를 SQL 엔진으로 실행하여 결과값을 얻는다. 모델(예: BART)은 SQL 쿼리와 테이블을 입력받아 해당 실행 결과를 출력하도록 학습되어 신경망 SQL 실행기(Neural SQL Executor) 역할을 수행한다.
• 장점: 자연어와 달리 SQL 프로그램은 다양성과 규모를 체계적으로 확보할 수 있어, 고품질의 대규모 코퍼스를 쉽게 생성할 수 있다.

현재 Hugging Face transformers 라이브러리에 통합되어 있으며, 테이블 데이터를 활용한 다양한 질의응답 태스크에 적용 가능하다.