LG AI Research: 롱테일 분포 학습(Long-Tail Distribution Learning)

실제 산업 현장에서 수집되는 대규모 데이터셋은 특정 클래스의 샘플은 많고 일부는 매우 적은 **롱테일 분포(Long-Tail Distribution, LTD)**를 띠는 경우가 많다. 이러한 데이터 불균형은 모델이 다수 클래스(Head class)에 편향되게 학습되어, 소수 클래스(Tail class)의 성능을 급격히 저하시키는 문제를 야기한다.

이를 해결하기 위한 주요 방법론은 다음과 같다.

• Re-Sampling: 데이터 수준의 접근법으로, 헤드 클래스의 샘플을 줄이는 Under-Sampling이나 테일 클래스의 샘플을 늘리는 Over-Sampling이 있다.
• Cost-Sensitive Learning: 클래스 불균형에 따른 손실 함수(Loss function)를 조정하여 학습한다.
• Transfer Learning: 사전 학습된 모델을 활용하여 테일 클래스의 성능을 보완한다.
• Representation Learning: 클래스 간의 특징을 더 잘 구분할 수 있도록 표현력을 높인다.
• Decoupled Training: 학습 과정을 분리하여 최적화를 진행한다.

본 글에서는 이러한 전통적 방식부터 ICML 2022에서 발표된 **PASCL(Partial and Asymmetric Supervised Contrastive Learning)**과 같은 최신 딥러닝 기반 솔루션까지 심도 있게 살펴본다.