Cockroach Labs, 교육 병원 비유 적용한 코딩 에이전트 'MOLT Sinai' 공개

Cockroach Labs 엔지니어 Adam Storm과 Rafi Shamim이 MOLT 마이그레이션 도구 구축을 위한 코딩 에이전트 파이프라인 MOLT Sinai의 세부 사항을 공개했습니다. 이 시스템은 교육 병원 비유를 채택해 프로덕션급 코드 품질을 보장하며, 단순 처리량보다 유지보수성과 엄격한 리뷰를 우선시합니다. 이슈를 환자, 에이전트를 의료진으로 취급해 엄격한 안전 가드레일과 구조화된 인수인계를 강제합니다.

성능 및 비용 지표

파이프라인은 IBM Db2 마이그레이션 지원 추가 시 상당한 효율성 향상을 보였습니다. 2024년 Oracle 지원에 9개월과 16만 달러가 소요됐던 작업이 약 2일(수요일 저녁부터 금요일 오후까지) 만에 완료됐습니다. 주요 지표는 다음과 같습니다:

• 속도와 비용: 이전 Oracle 구현 대비 164배 빠르고 38배 저렴함.
• 토큰 비용: Db2 스프린트 비용 4,172달러, 인간이 작성한 코드 0건.
• 총 지출: 5개월 기간(2026년 4월 21일~9월 11일) 동안 Claude 토큰 비용 13만 5,000달러 이상.
• 볼륨: 100만 줄 이상의 코드 병합, 작고 리뷰 가능한 단위로 분할됨.
• 이슈 생성: 병원 파이프라인이 내부적으로 1,299개 이슈(저장소 전체의 거의 절반)를 생성함. 여기에는 분해된 하위 작업과 안전 시정 조치가 포함됨.

아키텍처 및 안전 가드레일

MOLT Sinai는 GitHub Actions에서 작동하며, 이슈 레이블로 상태를 관리하고 역할별 프롬프트로 에이전트 행동을 정의합니다. 시스템은 일반적인 에이전트 실패를 방지하기 위해 6가지 핵심 안전 규칙을 강제합니다:

1. 계획 없는 코드 금지: 펠로우(Fellow)는 구현 전 진단, 파일, 테스트를 포함한 치료 계획을 공개하고 어텐딩(Attending) 에이전트의 리뷰를 받아야 함.
2. 즉흥적 행동 금지: 범위 변경 시 작업을 중단하고 계획 리뷰로 돌아가야 함.
3. 테스트 우회 금지: 에이전트는 테스트를 비활성화하거나 약화할 수 없음. 실패한 테스트는 반증이 있을 때까지 사실로 간주됨.
4. 무한 반복 금지: 에이전트는 차단된 이슈를 무한히 재시도하는 대신 I-PASS 인수인계를 통해 에스컬레이션해야 함.
5. 퇴원 간호사 감사: 병합 전 리뷰가 적절히 수행됐는지(CI 통과, 미해결 스레드 없음) 확인하는 최종 게이트 역할 수행.
6. 선례 확인: 에이전트는 인간 최고 책임자에게 에스컬레이션하기 전 인간 결정 사항의 추가 전용 로그를 참조해야 함.

운영 인사이트 및 향후 작업

파이프라인은 고객 준비 품질을 보장하기 위해 완전 자율 운영에서 모든 병합에 대한 인간 승인 모드로 진화했습니다. 두 번째 달 이후 인간 개입을 입원 결정으로 줄였으나, 관료적 오버헤드와 프롬프트 부패(스킬 파일 내 중복 규칙 누적) 문제를 겪었습니다.

주요 교훈으로는 페르소나 프롬프트와 계획 리뷰(코드 리뷰가 놓친 호스트명 노출 등 위험 포착)의 효과성이 포함됩니다. 그러나 수렴하지 않는 리뷰 루프 문제가 발생해, 여러 차례 수정 후 이슈를 넘기는 서킷 브레이커를 도입했습니다. 향후 작업은 에이전트 효율성 개선, 주니어 엔지니어를 위한 교육 기능 추가, 그리고 병원 워커들이 거의 전적으로 작성한 Migration Assistant(Postgres에서 CockroachDB로) 검증에 집중됩니다.