코딩 에이전트 연구: LSP보다 grep 선호 현상과 도구 인터페이스 설계의 중요성

코딩 에이전트가 시맨틱 내비게이션(LSP)보다 어휘적 검색(grep)을 선호하는 이유와 도구 인터페이스 설계가 에이전트 성능에 미치는 영향을 분석한 연구 결과가 공개되었다. 연구에 따르면 LSP가 정밀도를 높일 수 있음에도 불구하고, 에이전트는 익숙한 grep 경로를 더 자주 선택하며 강제 사용 시 성공률이 오히려 하락하는 경우가 발생했다.

grep 선호 현상과 LSP의 한계

• 도구 선택 패턴: 단순 코드 위치 찾기 작업에서 시맨틱 도구 선택 비율은 0~6%에 불과했으며, 시맨틱 우선 강제 시 성공률이 100%에서 89%로 감소했다. 반면 참조 완전성(모든 호출자 찾기) 작업에서는 시맨틱 도구 선택 비율이 45~57%로 상승했다.
• 정밀도와 재현율: 참조 완전성 작업에서 LSP 기반 경로의 정밀도는 1.00으로 grep(0.76)보다 높았으나, 재현율은 두 경로 모두 약 0.66으로 유사했다. 이는 시맨틱 내비게이션이 더 많은 실제 호출을 찾지 못함을 의미한다.
• 코드베이스 노이즈의 영향: grep의 정밀도가 낮은(노이즈가 많은) 코드베이스에서 LSP의 이점이 명확해진다. 예를 들어, 노이즈가 많은 TypeScript 저장소(hono)에서는 LSP 사용 시 F1 점수가 +0.246 향상되고 토큰 비용이 12% 감소했다. 반면, 깨끗한 저장소(remeda)에서는 LSP가 순수한 오버헤드로 작용하여 토큰 비용이 16% 증가했다.

도구 인터페이스 설계의 중요성

• 출력 형식의 영향: LSP 도구가 위치 정보만 반환할 때보다, 소스 텍스트 컨텍스트를 포함하여 반환하도록 변경하자 Multi-file rename 작업의 Pass@1이 0.67에서 0.83으로 상승했다. 또한 후속 파일 읽기 횟수가 에피소드당 15.2회에서 3.2회로 대폭 감소했다.
• Harness의 역할: 모델의 능력은 모델 자체와 이를 둘러싼 런타임(Harness)의 곱으로 정의된다. 도구의 입력 스키마, 결과 형식, 오류 처리 방식 등이 에이전트의 행동 정책을 결정하므로, 새로운 검색 인터페이스는 전체 에이전트 루프의 일부로 평가되어야 한다.

시사점

에이전트 플랫폼 구축 시 모델과 Harness를 함께 평가해야 하며, 더 정교한 추상화가 항상 더 나은 성능을 보장하지는 않는다. 실제 작업에서 성공률과 토큰 효율성을 검증하고, 에이전트가 도구를 실제로 호출하는지(채택률)를 측정하는 것이 중요하다. 시맨틱 검색과 어휘 검색은 서로 다른 문제를 해결하므로, 코드베이스의 특성과 작업 유형에 따라 라우팅하는 전략이 필요하다.