카카오, 개인화 프로필 이미지 생성 모델 'Kollage Profile' 개발기 공개

카카오 카나나 알파 조직이 개인화된 프로필 이미지 생성에 특화된 모델 Kollage Profile의 개발 과정을 공개했다. 이 모델은 디퓨전 방식을 채택해 텍스트와 얼굴 이미지를 조건으로 입력받아, 원본 인물과 유사하면서도 자연스러운 실사 이미지를 생성하도록 설계됐다.

핵심 기술 및 학습 전략

모델의 성능 향상을 위해 HG-DPO(Human Generation Direct Preference Optimization) 방법론을 적용한 전용 백본 모델을 파인 튜닝했다. 이는 LLM 분야의 DPO를 이미지 생성에 확장한 것으로, PickScore와 Aesthetic score 기반의 대규모 데이터셋을 활용해 인물 생성 품질을 개선했다.

아이디(Identity) 모듈은 Instantbooth 연구를 기반으로 재설계됐다. 얼굴의 고수준 정보(글로벌 임베딩)와 픽셀 단위 정보(패치 임베딩)를 분리해 주입함으로써, 형태와 위치는 물론 세부적인 닮음도까지 자연스럽게 반영한다. 학습 시에는 디퓨전 손실 함수와 함께 얼굴 유사도를 직접 개선하는 Identity 손실 함수를 병행 사용했다.

데이터셋 및 안전성 조치

학습 데이터는 인물이 포함된 이미지-텍스트 페어로 구성되며, 단일 인물의 단일 이미지(SISI)와 다중 이미지(SIMI) 데이터를 모두 활용했다. 또한 딥페이크 등 악용을 방지하기 위해 비가시성 워터마크, 얼굴 위변조 탐지, 부적절한 단어 필터링 등 안전성 장치를 적용했다.

서비스 적용 및 향후 계획

현재 Nano와 Essence 두 가지 크기의 모델이 개발 완료됐으며, 생성 속도와 해상도에 따라 각 서비스에 최적화해 배포할 계획이다. if(kakaoAI)2024 행사에서는 '카나나 포토부스'를 통해 약 30초 만에 애니메이션, 크레파스 등 4가지 스타일의 프로필 이미지를 생성하는 데모를 성공적으로 운영했다. 향후에는 동영상 생성 모델 Kinema by Kanana에도 개인화 기술을 적용할 예정이다.