pdoom-video: 노래 한 곡으로 4K 뮤직비디오를 코드 한 줄로 렌더링

노래의 가사와 음향 데이터를 분석해 모든 프레임을 결정적인 함수로 생성한다. 브라우저에서 실시간으로 재생되는 미리보기와 오프라인으로 내보낸 1080p60 또는 4K60 영상이 픽셀 단위로 완전히 동일하다.

Demucs와 Whisper를 활용해 가사 타이밍과 비트를 정밀하게 추출하고, three.js 기반 렌더러가 이를 시각화한다. 빠른 움직임에는 최대 324개의 서브프레임을 평균 내어 자연스러운 모션 블러를 구현하며, 4K 해상도에서도 업스케일링 없이 물리적 해상도로 직접 렌더링한다.

기존 영상 편집 소프트웨어와 달리 모든 시각 효과가 코드로 제어되므로 수정과 재렌더링이 즉각적이다. M5 Pro 기준 약 2.5시간이면 전체 곡의 4K 렌더링이 완료되며, 헤드리스 Chrome과 ffmpeg을 활용해 자동화된 파이프라인을 구성할 수 있다.