"bash is all you need" 가설 검증

AI 커뮤니티에서는 LLM이 코드와 터미널 데이터로 대량 학습되었다는 점을 근거로, filesystems와 bash가 AI 에이전트를 위한 최적의 추상화 계층이라는 믿음이 확산되고 있다.

하지만 Braintrust는 구조화된 데이터를 쿼리할 때도 이 가설이 유효한지 확인하기 위해 eval harness를 구축하여 실험을 진행했다. 실험은 GitHub의 이슈와 PR 데이터를 대상으로 SQL agent, Bash agent, Filesystem agent 세 가지 방식을 비교했다.

실험 결과, SQL agent가 100%의 정확도를 기록하며 압도적인 성능을 보였다. 반면 Bash agent의 정확도는 **52.7%**에 그쳤으며, 토큰 사용량은 7배, 비용은 6.5배, 실행 시간은 9배나 더 많이 소모되었다. 기본적인 Filesystem agent조차 63%의 정확도를 기록하며 bash보다 나은 성능을 보였다.

흥미로운 점은 bash 에이전트가 find, grep, jq, awk 등을 조합한 매우 정교한 쉘 명령어를 생성할 수 있음에도 불구하고, 실제 작업 성능으로 이어지지는 않았다는 것이다.

주요 실패 원인으로는 다음과 같은 문제들이 파악되었다:

• 성능 병목 현상: 68,000개 파일에 대한 stat() 호출 등으로 인해 명령 실행 시간이 지연됨.
• 스키마 컨텍스트 부재: JSON 파일의 구조를 파악하지 못해 쿼리 실패.
• 평가(Eval) 스코어링 문제: 데이터셋 불일치나 모호한 질문으로 인한 오답 처리.