[ICML 2021] 2편: OOD 탐지를 위한 Generative model

Generative model은 데이터의 분포를 추정하여, 입력 데이터의 가능성(likelihood)이 낮으면 Out-of-distribution(OOD) 데이터로 판단한다. 하지만 최근 연구에 따르면, 분포를 잘 추정한 모델조차 OOD 데이터에 높은 가능성을 부여하는 문제가 제기되었다.

본 논문은 이러한 현상이 발생하는 원인을 Hierarchical VAE 관점에서 분석한다. 실험 결과, 낮은 레이어의 low-level feature는 In-distribution과 OOD 데이터를 구분하기 어렵지만, 높은 레이어의 high-level feature는 두 데이터를 효과적으로 구분할 수 있음을 확인했다.

기존의 ELBO(Evidence Lower Bound) 식을 사용하여 모델을 학습할 경우, low-level feature가 손실 함수(loss)를 지배(dominate)하게 되어 OOD 탐지 성능이 저하된다. 이를 해결하기 위해 새로운 OOD detection score를 제안하였으며, 이를 통해 SOTA(State-of-the-art) 기록을 달성했다.