코딩 에이전트 기반 월드 모델 공개

시후대학교(Westlake University) AGI Lab과 난양이공대학교(Nanyang Technological University) 연구진이 **Code World Model(CWM)**을 공개했다. 이 모델은 기존 영상 월드 모델이 관측된 화면에서 동역학을 학습해 장시간 생성 시 일관성이 떨어지는 문제를 해결하기 위해, 세계의 규칙과 화면 생성을 분리한 새로운 접근법을 제시한다.

핵심 작동 원리

• 코딩 에이전트(World Brain): 사건과 결과를 추론하여 실행 가능한 코드를 작성하고, 이 코드가 세계 상태를 지속적으로 유지하며 규칙에 맞는 변화를 만든다.
• 영상 모델: 코드가 생성한 프록시 영상(깊이 및 의미 식별자)을 조건으로 받아 실제 화면을 렌더링한다.
• 확장성: 코딩 에이전트의 추론 및 코딩 능력이 향상되면 모델 재학습 없이도 세계가 더 풍부하고 일관되게 확장된다.

기술 사양 및 한계

• 프록시 표현: 프레임마다 Depth 파일(float32, 192x336)과 Semantic-ID 파일(8bit PNG, 0~11 분류) 한 쌍으로 구성된다.
• 출력: 1344x768 해상도, 24 FPS의 무음 H.264 MP4 파일을 생성한다.
• 하드웨어: NVIDIA H800 80GB GPU 1장이 필요하다.
• 공개 범위: 추론 코드, 학습된 LoRA, 예제 40개가 공개되나, RGB 영상에서 조건 파일을 생성하는 도구는 포함되지 않았다.
• 라이선스: 코드는 Apache License 2.0을 따르지만, 서드파티 구성 요소 및 모델 산출물은 별도 조건이 적용될 수 있다.