LG AI Research 256

LG AI Research는 세계적인 AI 학술 대회인 ICML 2022에 참여하여 최신 연구 동향을 공유했다. 이번 블로그 시리즈에서는 자기지도 학습(Self-supervised learning)의 두 가지 핵심 방향인 '자기 예측(Self-prediction)'과 '대조 학습(Contrastive learning)'을 바탕으로 주목할 만한 논문들을 다룬다.

특히 소개된 ADIOS 방법론은 이미지의 의미론적 정보를 효과적으로 학습하기 위한 새로운 프레임워크를 제안한다. 기존의 Masked Image Modeling 방식은 픽셀을 무작위로 가려 복원하는 과정에서 주변 픽셀과의 국소적 상관관계에만 의존하여, 이미지의 핵심적인 의미를 학습하는 데 한계가 있었다.

ADIOS는 이러한 문제를 해결하기 위해 Inference model과 Occlusion model이 서로 대립하며 학습하는 구조를 가진다.

• Occlusion model (M): 원본 이미지 크기의 마스크를 생성하며, 마스크된 버전과 원본 표현 사이의 거리를 최대화하도록 학습한다.
• Inference model (I): 마스크된 이미지와 원본 이미지를 입력받아 각 표현을 계산하며, 두 표현 사이의 거리를 최소화하도록 학습한다.

이러한 적대적 학습 방식을 통해 모델은 단순히 주변 픽셀을 복제하는 것이 아니라, 이미지의 중요한 의미적 정보를 포함하는 부분을 더 효과적으로 학습할 수 있게 된다.