LangChain, Stagehand 적용으로 Deep Agents 브라우저 비용 13배 절감

• Stagehand 툴셋은 WebVoyager 벤치마크에서 90% 성공률과 총 $1.98의 비용을 기록함. 이는 Playwright MCP의 78% 성공률과 $26.71 비용 대비 13배의 차이임.
• Code mode는 에이전트가 단일 도구 호출로 여러 브라우저 단계를 실행하는 코드를 작성할 수 있게 함. 이를 통해 평균 작업당 단계 수는 Playwright MCP의 26단계에서 10단계로, 중앙값 내비게이션 응답 크기는 17,000자에서 117자로 감소함.
• Snapshots는 페이지 접근성 트리를 ID가 포함된 텍스트로 압축하여 원시 HTML이나 셀렉터 없이 {"op": "click", "id": "0-7"}와 같은 직접적인 작업을 가능하게 함. 이는 Playwright 대비 토큰 효율을 80% 향상시킴.
• Settle wait 최적화는 고정된 8초 대기 대신 500ms의 조용한 기간 체크를 적용함. 이를 통해 HardBench의 중앙값 에이전트 시간은 정확도 손실 없이 182초에서 124초로 단축됨.

Toolset Comparison

• 벤치마크에는 WebVoyager(100개 작업, Claude Sonnet 5.5), HardBench(102개 작업, Claude Opus 5.5), WebTailBench(150개 작업)가 포함됨.
• HardBench의 38개 핵심 작업에서 Stagehand의 run 도구는 30개 작업을 통과함. 반면 Browserbase의 browse CLI는 3배의 비용 차이로 21개 작업을 통과함.
• Stagehand를 네이티브 API만 사용하도록 제한하고 Playwright 스타일 코드 변환을 금지하면 성공률이 5.3%p 하락하고 통과 작업당 비용이 19% 증가함.

Implementation Details

• Stagehand v4는 브라우저 확장 프로그램으로 실행되어 페이지 근처의 저수준 호출을 처리함. Browserbase 벤치마크에서 Playwright보다 2배 빠름.
• Settle wait 수정 사항은 Pull #3282를 통해 Stagehand에 업스트림 적용됨.
• 브라우저 사용은 Managed Deep Agents에서 제공되며, langchain-stagehand의 StagehandMiddleware를 통해 오픈소스 Deep Agents에 추가 가능함.