Binning을 Pretext Task로 활용: Tabular 도메인에서의 자기지도 학습 개선

LG AI Research의 Data Intelligence (DI) Lab은 ICML 2024에서 'Binning as a Pretext Task: Improving Self-Supervised Learning in Tabular Domains' 논문을 발표했다. 이 연구는 수치형 변수를 이산형 변수로 변환하는 Binning 알고리즘을 활용해, 비지도 학습 과정에서 해당 Bin 인덱스를 예측하는 Pretext Task를 수행함으로써 Tabular 데이터 학습의 한계를 극복한다.

기존 워크숍 발표와 달리 이번 논문에서는 최신 Tabular 학습 모델인 T2G-Former를 활용하여 성능을 입증했으며, 다양한 실험 결과와 시각화 자료를 통해 방법론의 효과를 증명했다. ICML 2024에 발표된 총 2,634개의 논문 중 Tabular 도메인 특화 연구는 14편에 불과했으며, 대다수의 연구가 특정 문제 설정(소량 샘플, 이상 탐지 등)을 타겟으로 하고 있다.

함께 소개된 또 다른 연구인 **CHARMS(Channel Tabular Alignment with Optimal Transport)**는 이미지와 Tabular 데이터 간의 멀티모달 학습을 다룬다. 이 방법론은 이미지의 채널과 Tabular 속성 간의 **상호 정보량(Mutual Information)**을 최대화하여, 서로 다른 모달리티와 차원을 가진 데이터를 효과적으로 정렬한다.

CHARMS의 주요 프로세스:

• 이미지 데이터: ResNet을 사용해 표현을 추출하며, K-Means clustering을 통해 채널을 그룹화하여 독립적인 의미를 가진 $C'$ 채널을 생성한다.
• Tabular 데이터: FT-Transformer를 사용하여 각 속성에 대한 표현을 추출한다.
• 정렬: 이미지 채널과 Tabular 속성 간의 유사도를 측정하여 두 모달리티를 정렬한다.