agents.md 파일이 코딩 에이전트에게 도움이 될까?

연구 논문 **"Evaluating AGENTS.md: Are Repository-Level Context Files Helpful for Coding Agents?"**는 저장소 수준의 지침 파일(AGENTS.md, CLAUDE.md 등)이 코딩 에이전트의 작업 수행에 실질적인 도움이 되는지 분석했습니다.

연구는 SWE-bench Lite와 AGENTBENCH를 통해 세 가지 조건(컨텍스트 파일 없음, LLM 생성 컨텍스트, 개발자 작성 컨텍스트)에서 에이전트를 평가했습니다.

주요 연구 결과:

• 성공률: LLM이 생성한 컨텍스트 파일은 컨텍스트 파일이 없는 경우와 비교해 성공률 향상 효과가 미미했습니다. 다만, 개발자가 직접 작성한 컨텍스트 파일은 LLM 생성 파일보다 더 나은 성능을 보였습니다.
• 효율성: 놀랍게도 컨텍스트 파일이 없을 때가 가장 저렴하고 효율적인 것으로 나타났습니다.

원인 분석: 에이전트가 컨텍스트 파일의 지침을 따르기는 하지만, 이로 인해 더 많은 테스트를 수행하고, 더 많은 파일을 검색 및 읽으며, 더 많은 도구를 사용하게 되어 오히려 작업 부하가 늘어나는 것으로 분석되었습니다. 즉, 컨텍스트 파일이 작업의 철저함을 높이지만 이것이 반드시 성공률 향상으로 이어지지는 않았습니다.

결론: 컨텍스트 파일은 짧고 구체적이어야 하며, 필요에 따라 특정 파일을 참조하도록 유도하는 계층적 구조를 갖추는 것이 권장됩니다.