dig.bench (웹사이트)

dig.bench는 AI 에이전트가 실험을 통해 게임의 숨겨진 규칙을 발견하는 능력을 평가하는 벤치마크 플랫폼이다. 총 70개의 텍스트 기반 게임으로 구성되어 있으며, 시각적 요소를 배제하여 언어 모델의 순수한 발견 능력에 초점을 맞춘다.

모든 게임은 인간이 첫 시도에 해결할 수 있는 난이도로 설계되었으며, 7단계의 난이도 티어로 나뉜다. 현재 21개의 게임이 공개되어 있으며, 인간과 최첨단 모델은 동일한 인터페이스와 스텝 제한 내에서 경쟁한다.

평가는 **기본 하네스(Basic Harness)**와 에이전틱 하네스(Agentic Harness) 두 가지 방식으로 이루어진다. 기본 하네스는 다음 액션과 게임 상태를 처리하는 반면, 에이전틱 하네스는 파일 시스템과 같은 도구 및 컨텍스트 관리를 추가하여 더 복잡한 에이전트 작업을 지원한다.