사물의 위치에서 용도까지: 멀티모달 LLM을 위한 공간·기능 지능 벤치마크

SFI-Bench는 다양한 일인칭 실내 비디오 스캔에서 만든 1,700개 이상의 질문으로, 멀티모달 LLM의 공간·기능 지능을 함께 시험하는 비디오 벤치마크다. 지각, 기억, 추론을 연결해 실제 환경을 이해하는 능력을 겨눈다.

평가 축은 두 가지다.

• Structured Spatial Reasoning: 복잡한 실내 배치를 이해하고 여러 장면을 엮어 일관된 공간 표현을 만드는 능력
• Functional Reasoning: 사물의 용도와 맥락별 활용성을 추론하는 능력

문항은 conditional counting, multi-hop relational reasoning, functional pairing, knowledge-grounded troubleshooting 같은 과제로 구성된다. 실험에서는 현재 MLLMs가 공간 기억과 기능적 지식, 외부 지식을 함께 결합하는 데 지속적으로 어려움을 보였고, 이 벤치마크는 더 실제 환경에 맞닿은 multimodal agent로 가기 위한 기준점이 된다.