Grep만 있으면 될까? Agent Harness가 Agentic Search를 재편하는 방식

에이전트 기반 검색에서 벡터 검색보다 Grep 방식의 키워드 검색이 더 높은 정확도를 보일 수 있음을 입증했다.

최근 LLM 에이전트의 복잡한 워크플로우가 증가함에 따라, 검색 전략(Retrieval Strategy)이 에이전트 아키텍처 및 도구 호출 방식과 어떻게 상호작용하는지에 대한 연구가 진행되었습니다.

연구진은 두 가지 실험을 통해 **Grep(키워드 기반 검색)**과 **Vector Retrieval(벡터 검색)**의 성능을 비교했습니다.

실험 1: 검색 방식과 도구 호출 스타일의 비교

LongMemEval 데이터셋을 사용하여 Chronos(커스텀 에이전트 하네스), Claude Code, Codex, Gemini CLI를 대상으로 테스트를 수행했습니다.
실험 결과, 동일한 데이터 환경에서도 Grep 방식이 벡터 검색보다 전반적으로 더 높은 정확도를 기록했습니다.
또한, 도구의 결과값이 모델에 전달되는 방식(인라인 vs 파일 기반)에 따라 성능 차이가 크게 나타났습니다.

실험 2: 노이즈(Distraction)에 대한 내성 테스트

검색 결과에 관련 없는 대화 기록을 점진적으로 섞어 넣어, 모델이 방해 요소가 많은 상황에서 얼마나 잘 작동하는지 측정했습니다.
결과적으로 검색 정확도는 단순히 검색 알고리즘뿐만 아니라, 사용되는 하네스(Harness)와 도구 호출 스타일에 따라 매우 강력하게 좌우됨을 확인했습니다.