StreamRender-H3, 8 GB200 GPU로 실시간 코드 기반 월드 렌더링 구현

StreamRender-H3는 코드 기반 인터랙티브 월드를 실시간으로 사실적인 영상으로 렌더링하는 프레임워크다. 이 아키텍처는 World Logic(Code Game Engine 관리)과 Visual Generation(스트리밍 디퓨전 모델 담당)을 분리하고, Semantic Map이라는 중간 상태 표현으로 연결한다.

아키텍처 및 성능

시스템은 MiniMax-H3 Ref2VA 기반 비디오 모델을 사용하며, 시맨틱 스트림을 받아 프레임 구조를 결정하고 참조 이미지와 프롬프트로 외관을 제어한다. 레이싱 데모 기준 주요 성능 지표는 다음과 같다:

• 디퓨전 렌더링: 8 GB200 GPU 설정에서 스트리밍 단계당 218ms 소요, 799.7ms인 PyTorch 베이스라인 대비 3.67배 속도 향상.
• 디코딩: 커스텀 Fast Causal H3 VAE가 단일 GB200에서 720p 잠재 프레임을 23.8ms에 디코딩.
• 디노이징: 배포된 생성기는 청크당 2단계 수행.

Fast Causal H3 VAE

실시간 제약 조건을 충족하기 위해 팀은 Claude Code를 사용한 에이전트 루프로 특수 디코더를 개발했다. 공개된 H3 VAE는 스트리밍에는 너무 느렸다(720p 블록당 약 870ms). 새로운 Fast Causal H3 VAE는 파라미터 수를 1.62B로 줄이고 캐시된 과거 프레임을 사용하는 슬라이딩 윈도우 인과 어텐션을 적용한다. 최적화 단계에는 공간 테일링 제거, FlashAttention-4 사용, 커널 융합이 포함되었으며, 이를 통해 지연 시간을 146ms(순수 PyTorch)에서 23.8ms로 단축했다.

학습 및 추론

모델은 5,100개의 기록된 레이싱에서 추출한 10,000개의 페어링된 클립(각 약 15초)으로 학습되었으며, 참조 이미지는 GPT-Image-2.5, 프롬프트는 Claude Opus 5.5로 생성했다. 추론 가속은 멀티 GPU 병렬 추론, 정적 컨텍스트 KV 캐싱, 어텐션 최적화를 통해 달성되었으며, 총 디퓨전 렌더링 시간을 218ms로 낮췄다. 현재 시스템은 3인칭 카메라 시나리오를 지원하며 엔진과 렌더러를 독립적으로 교체할 수 있도록 설계됐다.