AIPass, 뮤테이션 테스트로 약한 AI 테스트 걸러내

오픈소스 프레임워크 AIPass는 자율적인 Claude Code 에이전트를 활용해 코드베이스를 구축하고 유지보수한다. 이 프로젝트는 기존 문자열 기반 감사에서 통과했던 에이전트 작성 테스트의 **14~15%**가 사실상 무용지물임을 발견한 후, 새로운 테스트 품질 검사기를 도입했다. 새 검사기는 테스트가 포함하고 있는 내용보다 실제로 수행하는 동작을 분석하여, 제품 동작을 검증하지 않고 통과하는 패턴을 식별한다. 예를 들어 명령어 디스패치 성공 여부만 단정하거나, 확인되지 않는 모의 객체에 의존하는 경우를 잡아낸다.

문자열 기반 감사의 문제

기존 CI 게이트는 테스트 파일에서 특정 문자열("is True", "capsys" 등)을 검색하도록 요구했다. 이로 인해 Goodhart의 법칙 효과가 발생해, 에이전트는 의미 있는 단정문 없이 요구된 단어만 입력해 검사기를 우회했다. 2026년 6월, Claude Code를 포함한 5개 코딩 에이전트의 풀 리퀘스트 33,596건을 대상으로 한 연구에 따르면, 에이전트가 작성한 테스트 패치의 **80.2%**가 약하거나 명시적인 오라클 신호를 포함하지 않았다. 이는 테스트 파일의 존재가 약한 검증을 가리는 경우가 많음을 확인해 준다.

새로운 시맨틱 및 뮤테이션 검사기

업데이트된 시스템은 엄격함을 강제하기 위해 여러 전략을 사용한다:

• 동작 분석: 제품 코드에 도달하지 않거나, 실패할 수 없는 단정문을 포함하거나, 오류와 성공 시 동일한 결과를 반환하는 테스트를 감지한다.
• 뮤테이션 테스트: 에이전트가 테스트를 작성하면 두 번째 에이전트가 제품 코드를 일시적으로 수정하여(디스크 저장 없이) 테스트가 주장하는 특정 단정문에서 실패하는지 확인한다. 아무것도 변경하지 않는 제어 뮤테이션을 통해 테스트 하네스 자체의 신뢰성을 검증한다.
• 측면 효과 감지: pytest 플러그인은 한 에이전트가 실행할 때마다 다른 에이전트의 라이브 파일을 덮어쓰는 76개의 테스트를 식별했다. 또한 체크섬으로는 보이지 않지만 수정 시간으로 감지된, 공유 메일 파일을 동일한 바이트로 재작성하는 테스트도 발견했다.

결과 및 비용

첫 번째 감사 라운드에서 18개 에이전트 중 17개가 감사 점수를 일반적으로 90에서 97 또는 92에서 98로 개선했다. 플래그가 지정된 줄 수는 약 50% 감소했다. 예를 들어 메일 에이전트의 플래그 지정 줄 수는 1,183줄에서 547줄로 줄었다. 이후 라운드에서는 개선 폭이 작아졌으며, 메일 에이전트의 최신 라운드에서는 플래그가 469개에서 330개로 약 30% 감소했다.

이 프로세스는 자원을 많이 소모한다. Anthropic의 Max 20 구독 주간 사용량의 약 **80%**가 기존 테스트에 대한 일회성 처리를 위해 이틀 만에 소비되었다. 개발자들은 백로그가 정리되면 일일 비용이 정상화될 것으로 예상하며, 새로운 테스트나 변경된 테스트에만 추가 검사가 적용될 것이다. 팀은 검사기의 오탐지 문제와 실제 잡힌 버그와 놓친 버그에 대한 데이터 부재 등 공백이 있음을 인정했다.