LingBot World, 장기 롤아웃 안정성 확보한 오픈 웨이트 모델 공개

사용자 입력에 따라 프레임을 실시간으로 생성하는 Causal DiT 기반의 오픈 웨이트 인터랙티브 월드 모델인 LingBot World가 공개되었습니다.

이 모델은 장기 생성 시 발생하는 드리프트(Drift) 현상을 방지하기 위해 다음과 같은 핵심 기술을 적용했습니다.

• MoBA(Mixed Bidirectional/Autoregressive) 어텐션 마스크: 양방향 및 자기회귀 어텐션을 혼합하여 최근 프레임에 과도하게 의존하는 문제를 완화합니다.
• 동적 KV-캐시 스케줄링: 긴 롤아웃 과정에서도 연산 효율성을 유지할 수 있도록 설계되었습니다.
• 일관성 증류(Consistency Distillation): 단순한 Teacher-forced 프레임이 아닌, 긴 자가 롤아웃 궤적(Long self-rollout trajectories)을 기반으로 한 분포 매칭 증류를 통해 안정성을 확보했습니다.

실제 테스트 결과, 60분간의 연속적인 롤아웃에서도 시각적 저하 없이 안정적인 성능을 유지하는 것으로 나타났습니다. 다만, 모델의 지속성은 외형(Appearance)에 국한되며, 컨텍스트 윈도우를 벗어난 영역은 재방문 시 새로 생성되는 특성을 가집니다. 모델 가중치는 CC-BY-NC-SA 라이선스로 공개되었습니다.