Gitframes, WebGPU 기반 AI 코딩 에이전트용 영상 렌더링 도구 베타 출시

네이티브 WebGPU 아키텍처

Gitframes는 AI 코딩 에이전트를 위해 설계된 베타 단계의 코드 우선(video-as-code) 렌더링 도구로, Photoshop급 VFX, After Effects 스타일 모션, Blender 유사 3D 기능을 단일 npm 패키지로 통합했다. Remotion(Chromium/Puppeteer)이나 Hyperframes(Canvas2D/SVG)와 달리, Dawn/WebGPU와 @napi-rs/webcodecs를 사용해 헤드리스 브라우저 오버헤드를 제거하고 하드웨어 직접 렌더링 및 인코딩을 수행한다. 이 아키텍처의 장점은 다음과 같다:

• 성능: Remotion의 5~20 FPS 대비 60~120+ FPS 처리량 달성.
• 메모리 효율: 워커당 약 200~400 MB RAM으로, Chromium 기반 솔루션(1.5~4.0 GB)보다 현저히 낮음.
• 결정적 타이밍: 절대 프레임 클럭과 이산 샘플 포인트를 사용해 부동 소수점 타이머 드리프트 및 프레임 드롭을 제거.

주요 기술 기능

• 분석적 타이포그래피(Slug 알고리즘): WGSL 프래그먼트 셰이더에서 벡터 타이포그래피를 직접 렌더링하여, 10px부터 10,000px까지 텍스처 아틀라스 아티팩트 없이 픽셀 단위의 선명도를 보장.
• 통합 3D 및 2D 합성: 2D flex/box 트리를 3D 호모그래피 평면 및 메시(OBJ, FBX, glTF 등)에 중첩하여 PBR 글래스, SSAO, 모션 블러를 지원.
• 온디바이스 뉴럴 비전: Apache-2.0 ONNX 모델(RTMDet-Ins, RTMO, MediaPipe Selfie Segmenter)을 통합해 디스크 왕복 없이 객체 추적, 인스턴스 분할, 자세 추정을 통한 반응형 신호 생성.
• 절차적 오디오 DSP: 결정적 사운드 이펙트(whoosh, impact) 생성 및 오디오 반응형 시각 신호를 지원하는 멀티 트랙 믹싱.

AI 에이전트 통합

Gitframes는 주요 AI 코딩 어시스턴트용 스킬과 플러그인을 제공하는 Agent-first DX를 지향한다:

• Claude Code: /plugin install gitframes 또는 공식 Anthropic 마켓플레이스를 통해 설치 가능.
• 기타 에이전트: npx skills add gatewai-dev/gitframes를 통해 Codex, Cursor, Hermes, Gemini CLI, Copilot 지원.
• 검증: Zod를 사용해 런타임 구성을 검증하고, 에이전트 분석을 위해 결정적이고 직렬화 가능한 스냅샷을 제공.

가용성 및 라이선스

이 프로젝트는 Apache-2.0 라이선스를 따르며 현재 Beta 단계(API 변경 가능성 있음)다. Node.js ≥ 22 및 네이티브 GPU 가속(Dawn/WebGPU 또는 Vulkan)이 필요하다. 저장소는 GitHub의 gatewai-dev/gitframes에서 호스팅된다.