PAN2: 29B 파라미터로 20초 물리 시뮬레이션 영상 생성
IFM/PAN2
프로젝트 소개
현재 관찰 상태와 텍스트로 설명된 행동을 입력하면, 해당 행동이 세계에 미칠 영향을 최대 20초 분량의 영상으로 시뮬레이션합니다. MBZUAI의 Institute of Foundation Models가 개발한 PAN 2는 단순한 영상 생성이 아니라, 에이전트가 실제 행동 전에 결과를 가상으로 검증하는 시뮬레이티브 리소닝을 지원합니다.
29B 파라미터 규모의 MMDiT 기반 퍼셉추얼 백본과 Qwen3.5-9B 텍스트 인코더를 결합해 동작합니다. 언어 모델이 시간과 행위자를 명시한 구조화된 세계 상태 설명을 작성하고, 확산 모델이 이를 바탕으로 704x1248 해상도의 24fps 영상을 생성합니다. 텍스트-투-비디오와 이미지-투-비디오 두 가지 모드를 단일 체크포인트로 지원합니다.
기존 영상 생성 모델과 달리 물리 법칙과 인과 관계에 초점을 맞춘 세계 모델링에 특화되어 있습니다. 공개 벤치마크에서 Physics-IQ Verified와 PhyGround 등 물리 정합성 평가에서 경쟁력을 보이며, 13명의 리뷰어가 참여한 블라인드 평가에서도 높은 선호도를 기록했습니다. Apache 2.0 라이선스로 공개되어 연구 및 개발 목적으로 자유롭게 활용할 수 있습니다.
로봇이나 자율 에이전트가 복잡한 다단계 계획을 실행하기 전, 각 단계의 결과를 미리 시뮬레이션하여 최적의 경로를 선택하는 데 적합합니다. 긴 계획 시뮬레이션 시 일부 단계 실패 가능성이 존재하며, 프롬프트 표현에 민감하므로 구조화된 캡션 형식을 사용하는 것이 권장됩니다. 안전을 위해 pan2-guardrail과 함께 사용하는 것이 권장됩니다.
IFM/PAN2
원문에 등록된 설명이 없습니다.
image-text-to-video
이 한국어 소개글은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.