Perplexity, WANDR 벤치마크 공개

WANDR(Wide ANd Deep Research)는 Perplexity가 공개한 오픈 벤치마크로, 리서치 에이전트가 실제 지식 노동에서 수행하는 500개 데이터 수집 과제로 구성된다. 경쟁사 분석, 실사(due diligence), 시장 분석, 인재 소싱 등 현실적인 업무를 다루며, 각 과제는 수십~수천 개의 독립 검증 가능한 레코드를 요구한다.

벤치마크의 핵심 질문은 에이전트가 넓게(Wide) 와 깊게(Deep) 를 동시에 수행할 수 있는지다.

• 넓이: 조건을 만족하는 대규모 개체 집합을 빠짐없이 발견하는 능력
• 깊이: 발견한 모든 개체를 사실적 근거로 뒷받침하는 능력

과제는 자격 키 계층(Qualification Key Hierarchy) 트리 구조로 표현된다. 예: company(n) → employee(m) → url(k). 이 구조로 평면 목록부터 행렬형 과제까지 표현 가능하다.

평가 결과, 최강 시스템조차 Soft F1 0.363 / Hard F1 0.133에 그쳤으며, Perplexity는 "넓고 깊은 리서치는 아직 풀리려면 한참 멀었다"고 평가했다. 총 170,495개 레코드, 과제당 평균 80개 멤버로 구성되어 있다.