WANDR 벤치마크: 광범위하고 심층적인 탐색이 필요한 리서치 에이전트 평가

Perplexity가 지식 노동을 위한 500개의 실질적이고 도전적인 데이터 수집 과제를 담은 오픈 벤치마크 WANDR(Wide ANd Deep Research)를 공개했다. 이는 기존의 심층 리서치 평가 도구인 DRACO의 확장판으로, 에이전트가 방대한 정보를 수집하는 동시에 각 정보의 근거를 정확히 제시할 수 있는지 측정한다.

리서치 에이전트의 핵심 역량은 두 가지로 나뉜다. 첫째는 대상 엔티티를 대량으로 찾아내는 Wide(광범위성)이며, 둘째는 각 엔티티에 대해 요청된 주장을 뒷받침할 증거를 조사하는 Deep(심층성)이다. WANDR는 이 두 가지 요구사항을 동시에 충족해야 하는 복잡한 과제들을 다룬다.

WANDR는 유연한 계층적 자격 키(qualification key hierarchy) 구조를 사용하여 과제를 정의한다. 예를 들어 company(n) → employee(m) → url(k)와 같은 구조를 통해, 특정 수의 기업을 찾고, 각 기업의 직원을 찾으며, 각 직원의 증거가 되는 URL을 찾는 식의 복잡한 탐색 경로를 독립적으로 검증할 수 있다.

현재 기술 수준은 아직 갈 길이 멀다. 평가 결과, 가장 강력한 시스템조차 0.363 soft F1 및 0.133 hard F1 점수를 기록하는 데 그쳐, 광범위하고 심층적인 리서치 자동화는 여전히 해결해야 할 과제로 남아있다.