[NeurIPS 2024 시리즈] Tabular Data를 위한 B-splines 기반 입력값 정규화 방식

Tabular Data는 각 열(Feature)마다 분포가 매우 이질적이라는 특성이 있습니다. 기존의 Min-Max, 표준화, Quantile 변환 등은 고정된 방식이라 Neural Networks의 학습 과정에서 최적화되지 못하며, 모든 변수에 적합한 정규화 방식을 개별적으로 찾는 데 많은 자원이 소모됩니다.

LG AI연구원 DI Lab은 이러한 한계를 극복하기 위해 B-spline을 이용한 Learnable Numerical Input Normalization 기술을 제안했습니다. 이 방식은 매개변수화된 곡선인 B-spline을 사용하여, 데이터의 학습 난이도와 중요도에 따라 정규화 곡선을 동적으로 조정합니다.

핵심 원리는 다음과 같습니다.

• 동적 곡선 최적화: B-spline의 매개변수를 Neural Networks의 학습과 동시에 최적화하여 데이터 특성에 맞는 곡선을 생성합니다.
• 중요도 기반 가중치: 학습 손실(Loss)이 낮은 샘플은 중요도가 낮다고 판단하여, 해당 영역의 곡선 기울기를 낮게 조절함으로써 정규화된 입력 공간의 좁은 영역에 대응시킵니다.
• 안정성 확보: 매듭 벡터(Knot Vector)를 비감소 형태로 유지하여 원시 데이터의 순서를 보존하고 정규화의 안정성을 보장합니다.

이 기술은 FT-Transformer, T2G-Former와 같은 최신 Transformer 기반 구조나 Periodic Embedding 등과 결합하여 더욱 효율적인 Tabular 데이터 학습을 구현할 수 있습니다. 실제 OpenML 데이터셋 실험 결과, 26개 데이터셋에서 우수한 성능을 입증했습니다.