SketchAgentBench, 11개 LLM의 3D 공간 추론 및 코딩 능력 평가

• SketchAgentBench는 브라우저 기반 three.js 플레이그라운드에서 코드를 활용해 단일 참조 사진으로 3D 장면을 재구성하는 LLM 능력을 평가하는 신규 벤치마크임
• Gemini 4 Argon이 1544로 가장 높은 Elo 점수를 기록했으며 GPT-6 Astra가 1540으로 뒤를 이었고 Claude Sonnet 5.5는 1000의 앵커 역할을 수행함
• Kimi K3.1 Pro는 1달러당 Elo 점수 788로 가장 높은 비용 효율성을 보였으며 API 비용은 Gemini 4 Argon의 $11.12에 비해 $1.50로 저렴함
• 25장의 사진에 대해 275회 실행했으며 258회가 성공적으로 완료되었고 총 API 비용은 $59.94로 집계됨

Methodology

• 에이전트는 기하학 코드를 작성하고 렌더링된 뷰를 검사하며 참조 이미지와 일치하도록 3D 구조를 개선하는 과정을 통해 공간 추론 및 코딩 능력을 검증함
• 비전 모델이 렌더링된 장면 쌍을 비교해 Elo 등급을 생성하며 100 Elo 포인트는 64%의 1:1 승률을 의미함
• 벤치마크는 Blender의 셰이더 노드와 같은 소프트웨어 특화 워크플로우를 배제하고 공간 이해력을 분리하기 위해 최소한의 manifold.js 런타임을 사용함