MindTopo, VLM의 위상적 공간 추론 능력을 드러내다

MindTopo는 멀티모달 대규모 언어 모델의 3D 위상적 공간 이해를 평가하는 벤치마크다. 정확한 거리나 각도보다 물체가 휘거나 늘어나도 유지되는 연결성, 포위, 순서, 분리, 매듭 같은 구조적 관계에 초점을 맞춘다.

벤치마크는 인지과학의 위상 능력 분류를 바탕으로 다음 다섯 영역을 다룬다.

• 연속성(Continuity): 경로나 물체가 끊어지지 않았는지 판단
• 분리(Separation): 인접한 요소가 하나의 구조인지 구분
• 순서(Order): 경로나 변환 과정에서 요소의 배열 추적
• 포위(Enclosure): 경계가 안과 밖을 만드는지 판단
• 매듭(Knots): 로프가 실제로 묶이거나 연결됐는지 판별

각 영역은 정적 장면을 보고 관계를 판단하는 추론 과제와, 시뮬레이션 환경에서 관계를 만들거나 유지·제거하는 계획 과제로 평가된다. 예를 들어 모델은 파이프를 회전하거나 블록을 재배열하고, 이동하는 에이전트를 가두거나, 다른 줄을 통과시키지 않고 로프를 풀어야 한다.

통제된 시뮬레이터로 장면을 생성해 정확한 정답과 난이도를 조절할 수 있다는 점도 특징이다. 이를 통해 시각적으로 복잡한 장면을 인식하지 못한 경우와, 장면을 이해한 뒤에도 변화 과정에서 구조적 관계를 유지하지 못한 경우를 구분할 수 있다.

여러 상용 및 오픈 웨이트 모델을 비교한 결과, 정적 이미지에 대한 추론 성능이 상호작용 계획보다 일관되게 높았다. 두 과제 모두 인간 수준에는 미치지 못했으며, 특히 여러 행동에 걸쳐 관계를 보존해야 할 때 성능 저하가 두드러졌다.

오류는 계획 단계에서 주로 나타났다. 모델은 벽이나 개구부, 교차점을 놓치는 지각 오류를 보이기도 했지만, 장면을 올바르게 파악한 뒤에도 국소적으로 그럴듯한 행동을 선택하다가 전체 구조를 잃거나 물리적 제약을 위반하는 행동을 제안했다. 이는 로보틱스와 인터랙티브 환경에서 안정적인 의사결정을 수행하려면 위상 관계를 시간에 걸쳐 유지하는 능력이 필요하다는 점을 보여준다.