Maestro 심층 리서치 에이전트

AI21 Maestro는 에이전트의 품질, 비용, 지연을 함께 최적화하기 위한 프레임워크다. 이번 실험에서는 BrowseComp-Plus와 Deep Research Bench 1을 대상으로, 모델 선택, 프롬프트, 도구 구성, 실행 정책을 조합한 거대한 탐색 공간을 자동으로 훑었다.

BrowseComp-Plus는 심층 코퍼스 검색에서 retrieval precision과 synthesis를, Deep Research Bench 1은 장문 보고서 생성과 품질을 검증한다. Maestro는 이 두 벤치마크에서 가능한 운영점을 넓게 탐색해, 수작업 튜닝으로는 보기 어려운 Pareto frontier를 드러냈다.

핵심 축은 세 가지였다.

• 모델 및 에이전트 설정: BM25 sparse retrieval, Qwen2-7b dense retrieval, Reason-ModernColBERT late-interaction retrieval, 그리고 full-document retrieval 도구를 비교했다.
• best-of-N 스케일링: 같은 구성을 여러 번 실행해 run-to-run variance를 활용하고, 가장 좋은 후보를 고르는 방식으로 성능을 끌어올렸다.
• 앙상블 스케일링: 서로 다른 모델과 리트리버의 실패 패턴이 다르다는 점을 이용해 상보적인 조합을 묶었다.

특히 모델이 내놓는 self-generated confidence score를 적절히 보정하면 런타임 검증 신호로 쓸 수 있었다. 이 신호로 후보를 고르면 오라클에 가까운 선택을 실제 운영에서도 재현할 수 있고, 예를 들어 Minimax + LateInteraction을 8회, GPT-5 + LateInteraction을 2회, GPT-5 + Dense를 2회 조합한 앙상블은 단일 GPT-5 + LateInteraction 4회 구성보다 더 낮은 비용과 지연으로 더 높은 정확도를 냈다.

결국 메시지는 분명하다. 에이전트 최적화는 단일 모델 고르기의 문제가 아니라, 모델, 도구, 스케일링, 실행 정책을 묶은 복합 탐색 문제이며, Maestro는 이 탐색을 자동화해 생산 가능한 운영점을 찾게 해준다.