[NeurIPS 2024 시리즈] B-spline 기반의 정형 데이터 입력값 정규화 방법 - LG AI Research BLOG

정형 데이터(Tabular Data)는 각 컬럼마다 데이터 분포가 매우 다양하고 이질적이라는 특징이 있다. 기존의 min-max, standardization, quantile transformation 같은 정규화 방식은 신경망 학습 과정에서 최적화되지 않으며, 특정 분포에만 효과적이라는 한계가 있다.

LG AI Research의 DI Lab은 이러한 문제를 해결하기 위해 B-spline 기반의 학습 가능한 수치 입력 정규화 기술을 제안했다. 이 방식은 정규화 과정을 하나의 연속 함수(곡선)로 정의하고, 곡선의 파라미터를 신경망 학습과 동시에 최적화한다.

B-spline을 선택한 주요 이유는 다음과 같다:

• 특정 구간의 기울기를 자유롭게 조절하여 신경망이 중요하게 학습해야 할 영역을 지정할 수 있음
• 매끄럽고 연속적인 곡선을 생성할 수 있음
• 데이터의 순서를 유지하여 정규화의 안정성을 확보할 수 있음

연구팀은 데이터 샘플의 학습 난이도에 따라 정규화 변환을 동적으로 조정한다. 학습 손실(Loss)이 낮은 쉬운 샘플은 낮은 중요도를 부여하고, 학습이 어려운 샘플은 더 집중적으로 학습할 수 있도록 곡선의 기울기를 조절하는 메커니즘을 통해 정형 데이터의 표현 학습 성능을 극대화한다.