멀티모달 LLM의 얼라인먼트 이해: 종합 연구

**멀티모달 대규모 언어 모델(MLLM)**은 이미지와 일치하지 않는 응답을 생성하는 환각 문제를 겪는다. 따라서 선호 얼라인먼트의 핵심 목표는 모델의 응답이 이미지 정보와 더 밀접하게 일치하도록 만드는 데 있다.

연구진은 MLLM 얼라인먼트의 주요 요소를 독립적으로 분석하고, 알고리즘을 오프라인 방식과 온라인 방식으로 구분했다.

• 오프라인 방식: DPO(Direct Preference Optimization)
• 온라인 방식: 온라인 DPO, PPO(Proximal Policy Optimization)

분석 결과, 특정 상황에서는 오프라인 방식과 온라인 방식을 결합할 때 모델 성능을 높일 수 있었다. 또한 멀티모달 선호 데이터셋의 구축 방식과 세부 설계가 모델 성능에 큰 영향을 미친다고 설명했다.

연구진은 추가 주석이나 외부 모델 없이 선호 데이터를 생성하는 BDHS(Bias-Driven Hallucination Sampling) 방법도 제안했다. BDHS는 모델의 편향된 환각 사례를 활용해 데이터를 만들며, 여러 벤치마크에서 기존 멀티모달 얼라인먼트 연구와 경쟁력 있는 성능을 보였다.