Composo, Bosch 식기세척기 시뮬레이션 기반 LLM 에이전트 벤치마크 DishwasherBench 공개

Composo Limited가 LLM 에이전트의 물리적 추론 및 공간 계획 능력을 평가하기 위한 오픈소스 벤치마크이자 게임인 DishwasherBench (v0.1.0)와 Spotless를 공개했다. 이 시스템은 실제 Bosch SMV4HAX40G 식기세척기의 강체 물리 시뮬레이션을 사용하여 모델이 Eco 50 세척 프로그램에 식기를 얼마나 효과적으로 적재하는지 점수를 매긴다.

시뮬레이션 및 점수 산정 메커니즘

벤치마크는 적재 과정을 시뮬레이션하기 위해 결정론적 물리 엔진(Jolt)을 사용하며, 이후 제트, 물방울, 화학 반응을 모델링하는 GPU 가속 세척 시뮬레이션을 실행한다. 점수는 세척 후 '깨끗함'으로 간주되는 항목 수에 기반하며, 이는 눈에 보이는 오염물이 ≤ 4 specks이고 ≤ 4 mm²인 경우로 정의된다. 시뮬레이션은 단일 실제 세척 기록을 기준으로 보정되었으나, 겹치는 항목 모델링의 한계로 인해 접시와 식기류 적재 결과는 현재 신뢰할 수 없다고 개발자는 밝혔다.

모델 성능 및 한계

초기 테스트에서는 gpt-6.1-sol과 gpt-6-astra 두 모델이 OpenAI 호환 엔드포인트를 통해 세 개의 레벨을 플레이했다. 모델들은 더 많은 항목을 배치하여 '신중함' 스크립트 기준선을 일반적으로 능가했으며, 속이 빈 용기를 뒤집어 놓는 것과 같은 치명적 오류는 피했다. 주요 한계점은 다음과 같다:

• 인간 기준선 부재: 비교를 위한 인간 플레이어 점수가 없다.
• 검증되지 않은 경로: Anthropic API 통합은 라이브로 테스트되지 않았다.
• 하드웨어 제약: 시뮬레이션은 WebGPU(Dawn 경유)를 실행할 수 있는 GPU가 필요하며, macOS(Apple M3 Pro)에서만 검증되었다. Linux와 Windows는 테스트되지 않았다.
• 리소스 사용량: 공식 등급 세척은 기준 머신에서 ~5분이 소요되며 1–2 GB의 메모리를 소비한다.

가용성 및 통합

이 프로젝트는 MIT 라이선스 하에 웹 앱, 에이전트 통합용 MCP 서버, 벤치마크 하네스로 제공된다. 'fast'와 'official' 시뮬레이션 등급을 모두 지원하며, 후자가 권위 있는 점수를 제공한다. Composo는 이것이 단일 기기의 단순화된 모델이며 실제 제품 성능에 대한 진술이 아님을 강조했다.