AI 전문가와 자동사냥: 하네스로 제어하는 AI 파이프라인

무신사 물류플랫폼팀은 query-engineer로 슬로우 쿼리 분석부터 PR 생성, 리뷰 반영까지 자동화했다. CloudWatch Logs Insights로 느린 SQL을 모으고, 코드 경로와 DB 메타데이터를 따라 원인을 찾은 뒤 수정안을 만든다.

이 프로젝트의 결론은 에이전트 성능을 가르는 건 모델보다 **하네스(harness)**라는 점이었다. 범용 AI에 맥락 없이 질문하면 교과서적인 답만 나오기 쉬워서, 시스템 프롬프트로 Spring Boot·JPA/Hibernate 전문가 역할을 고정하고 출력은 unified diff 패치로 제한했다. 패치가 자주 깨져 삭제/추가 줄 순서를 바로잡는 정규화기와 4단계 폴백 전략도 붙였다.

파이프라인은 이렇게 굴러간다.

• Stage 1: CloudWatch Logs Insights로 슬로우 쿼리를 수집하고, SQL fingerprinting으로 리터럴만 다른 쿼리를 하나로 합친다.
• Stage 2~3: DB 메타데이터를 모은 뒤 최대 5명의 스페셜리스트가 병렬로 분석한다.
• 중간 검증: 패치를 정규화한 다음 문법, 결과 형태, EXPLAIN, LIMIT 래핑한 실제 실행까지 확인해 정합성을 점검한다.
• PR 전후 루프: PR 생성 전 AI 리뷰 루프에서 CRITICAL/WARNING이 0건이 될 때까지 수정하고, PR 이후에는 리뷰 코멘트를 다시 분석해 브랜치에 반영한다.

리뷰 체계는 Claude + OpenAI Codex 두 공급자를 동시에 써서 최대 8개 관점의 검토를 돌린다. 결과는 파일 + 카테고리 + 라인 기준으로 중복을 합치고, CodexCliNotFoundError는 Codex 관점만 실패시키되 Claude 관점은 계속 진행한다. 반면 SkillFileLoadError는 별도로 끊어 게이트 오작동을 막는다. 전체 진행 상황은 PipelineCallbacks와 SSE로 웹 UI와 CLI qe에 동시에 스트리밍된다.