LG AI Research 513

NeurIPS 2024의 주요 키워드는 LLM, 강화학습, 멀티모달 등이었으며, 특히 Datasets & Benchmark 트랙에서 흥미로운 연구들이 다수 발표되었습니다. LG AI연구원 Data Intelligence (DI) Lab은 이 트랙에서 딥러닝 모델의 성능을 보다 엄밀하게 검증할 수 있는 벤치마크 연구를 발표했습니다.

이번 연구는 두 랜덤 변수 간의 관계성을 측정하는 핵심 지표인 Mutual Information (MI, 상호 정보) 추정 성능을 다룹니다. 기존의 MI 추정 기법들은 주로 Gaussian Multivariates 환경에서만 평가되어, 이미지나 텍스트 같은 **비정형 데이터(Unstructured Data)**에서의 신뢰성을 보장하기 어렵다는 한계가 있었습니다.

LG AI연구원은 이를 해결하기 위해 다음과 같은 기여를 했습니다.

• 임의의 데이터셋에서도 MI의 참값을 정확히 알 수 있는 데이터 생성 방법 제안
• Gaussian, 이미지, 문장 임베딩 등 다양한 도메인을 포함한 벤치마크 구축
• 7가지 시나리오를 기반으로 한 MI Estimator 성능 비교

실험 결과, 기존 Gaussian 기반 벤치마크가 비정형 데이터 세팅에서 MI 추정 정확도를 평가하는 데 치명적인 한계가 있음을 확인했습니다. 또한, 데이터 도메인과 시나리오에 따라 최적의 MI Estimator가 달라질 수 있음을 밝혀내어 연구자들에게 가이드를 제공합니다.