월드 모델 평가 시 픽셀 지표의 한계와 진단 도구 worldproof

worldproof는 미래 프레임을 예측하는 월드 모델(World Model)이 어디서, 왜 예측에 실패하는지 진단하는 오픈소스 도구다. 단순히 작업 성공률을 측정하는 기존 벤치마크와 달리, 예측 결과와 실제 데이터(Ground Truth) 및 물리적 불변성(Physical Invariants)을 비교하여 오류의 원인을 분석한다.

핵심 통찰: 픽셀 기반 지표의 변별력 문제 실제 로봇 비디오 데이터를 분석한 결과, SSIM이나 PSNR 같은 픽셀 기반 지표가 특정 상황에서 모델 간의 성능 순위를 제대로 매기지 못한다는 점이 확인되었다. 예측 단계(Horizon)가 길어져도 오차가 증가하지 않고 평탄하게 유지되는 구간에서는 모델 간의 성능 차이를 구분할 수 없다.

실험 결과, 모델의 예측 단계에 따라 다음과 같은 세 가지 구간이 관찰되었다:

• 완벽한 일치 구간 (1~3단계): 모든 모델이 거의 완벽한 점수를 기록하며 모델 간 변별력이 없다.
• 변별 구간 (4~24단계): 지표가 급격히 하락하며 모델 간의 성능 차이가 명확히 드러나는 유일한 구간이다.
• 상관관계 상실 구간 (28단계 이후): 지표가 최저점에 머물며 무작위로 진동한다. 이는 예측이 실제 데이터와 완전히 무관해졌음을 의미한다.

이 결과는 월드 모델 평가 시 픽셀 오차뿐만 아니라, 평가 설정 자체가 모델을 구분할 수 있는 능력을 갖추었는지 검증하는 것이 매우 중요하다는 점을 시사한다.