카카오브레인, GAN 기반 'Nickface' 기술 공개… FaceShifter 대비 얼굴형 변화 성능 개선

카카오브레인은 실존하지 않는 가상의 인물 ID로 얼굴을 교체하는 'Nickface' 기술을 위한 GAN 기반 Face Swapping 모델을 개발했다고 발표했다. 이 모델은 추가 학습 없이 다양한 ID로 스와핑이 가능하며, 유니크한 ID 생성과 가상의 인물 ID 처리라는 세 가지 필수 조건을 충족한다. 기존 최신 모델인 FaceShifter와의 비교에서, 카카오브레인의 모델은 Reference 이미지와의 얼굴형 차이(Reference shape difference)를 19.3% 개선하고, ID 이미지와의 얼굴형 차이(ID shape difference)를 23.0% 줄여 얼굴형 변화 성능에서 우위를 보였다. 또한, 배경 생성 시 Generator가 직접 생성하지 않고 Reference 이미지의 배경을 그대로 복사·붙여넣는 방식을 적용하여 배경 재현도와 이미지 퀄리티를 높였다. 향후 측면 얼굴 및 오클루전(가려짐) 상황에서의 생성 성능 향상과 사용자 의도를 반영한 ID 생성 기능을 개발할 계획이다.