Viggle-Animate: 포즈 추출 없이 26초 만에 영상 캐릭터 교체

영상의 한 프레임만 이미지 편집기로 캐릭터를 바꿔 넣으면, 나머지 프레임 전체에 그 캐릭터를 자연스럽게 합성한다. 기존 방식처럼 포즈 추정기나 세그멘테이션 마스크 같은 중간 과정을 거치지 않아, 움직임과 카메라 워크가 원본 그대로 유지된다.

B200 GPU 기준 124프레임 렌더링에 26초가 걸리며, 이는 Wan2.2-Animate-14B 대비 6.1배 빠른 속도다. DMD 증류를 통해 3번의 forward pass만으로 추론이 끝나며, 텍스트 인코더나 별도 모델 로딩이 필요 없어 오케스트레이션 부담이 없다.

인간 외의 동물이나 로봇, 스타일화된 캐릭터도 페인팅된 참조 이미지만 있으면 애니메이션이 가능하다. 다만 복잡한 다중 캐릭터 장면이나 정밀한 립싱크는 아직 한계가 있으며, 오디오 트랙을 함께 입력하면 입 모양 동기화가 개선된다.