카카오, CVPR 2025서 인물 이미지 생성용 HG-DPO 논문 발표

카카오 카나나(Kanana) 팀이 CVPR 2025 하이라이트 논문으로 선정된 HG-DPO 연구를 공개했다. 이 기술은 기존 LLM 정렬 기법인 **DPO(Direct Preference Optimization)**를 Diffusion 기반 인물 이미지 생성 모델에 접목하여, Base model을 미세 조정함으로써 실사에 가까운 고품질 이미지를 생성하도록 돕는다.

실사 기반 학습 전략 기존 Diffusion-DPO는 생성된 이미지끼리 선호도 쌍을 만들어 학습했으나, 실사 품질에는 미치지 못하는 한계가 있었다. HG-DPO는 이를 극복하기 위해 실사 이미지를 Winning 이미지, 생성 이미지를 Losing 이미지로 사용하는 새로운 학습 방식을 도입했다. 이를 통해 모델이 단순히 상대적 우위가 아닌 '실사 수준의 품질'을 목표로 학습하도록 유도한다.

3단계 Curriculum Learning 단일 단계 학습의 불안정성을 해결하기 위해 난이도를 점진적으로 높이는 Curriculum Learning 방식을 적용했다.

• Easy Stage: 생성된 이미지 중 PickScore로 평가된 선호도 차이가 큰 Winning/Losing 쌍을 학습하여 기본 선호도를 형성한다.
• Normal Stage: 실사에 Noise를 추가하고 복원한 Intermediate image를 Winning 이미지로 사용해 구도와 포즈의 사실성을 학습한다.
• Hard Stage: 실제 실사 이미지를 Winning 이미지로 사용해 디테일까지 실사와 유사하도록 최종 미세 조정을 수행한다.

성과 및 적용 HG-DPO는 P-Score, HPS, FID 등 주요 벤치마크 지표에서 상위권을 기록하며 정량적·정성적 우위를 입증했다. 또한 Personalized text-to-image 생성에도 효과적으로 적용되어 고품질 프로필 사진 제작이 가능하다. 해당 기술은 카카오의 자체 이미지 생성 모델인 **'콜라주 바이 카나나(Kollage by Kanana)'**의 고도화에 적용되고 있다.