BrowseComp: 브라우징 에이전트를 위한 벤치마크

인터넷을 탐색하며 지식을 수집하는 AI 에이전트의 중요성이 커지고 있다. 기존의 SimpleQA와 같은 벤치마크는 기본적인 사실 관계를 확인하는 데 그쳐, 고도화된 브라우징 도구를 사용하는 모델들의 성능을 측정하기에는 한계가 있다.

이에 따라 인터넷상의 복잡하고 얽혀 있는 정보를 찾아내는 능력을 평가하기 위해 BrowseComp(Browsing Competition)라는 새로운 벤치마크가 공개되었다. 총 1,266개의 도전적인 문제로 구성된 이 벤치마크는 OpenAI의 simple evals GitHub 저장소에서 확인할 수 있다.

BrowseComp는 '검증의 비대칭성(asymmetry of verification)' 원칙을 활용한다. 즉, 답을 찾기는 매우 어렵지만, 정답 여부를 확인하는 것은 매우 쉬운 문제들로 구성되어 있다. 문제의 난이도를 보장하기 위해 다음과 같은 기준을 적용했다:

• GPT-4o, o1 등 기존 모델이 해결하지 못할 것
• 검색 엔진의 첫 페이지 결과에 답이 노출되지 않을 것
• 사람이 10분 이내에 해결하기 어려울 것

이 벤치마크는 모델이 인터넷 콘텐츠의 사실성을 판단하는 추론 능력, 끈기 있는 탐색 능력, 그리고 효율적인 검색을 위한 창의적 검색 전략을 종합적으로 평가한다.