AI 소프트웨어 팩토리 구축법: PR을 열고 검토하고 병합하는 에이전트

Addy Osmani의 'harnessing loops at scale' 개념을 바탕으로, AI 에이전트가 PR을 생성, 리뷰, 병합하는 소프트웨어 팩토리의 5단계 게이트 아키텍처를 제시한다. 핵심은 큐 기반 처리, 일회성 격리 환경, 그리고 리뷰 전 엄격한 검증이다.

5단계 게이트 아키텍처

1. Intake(수신): Anthropic의 brain/hands/durable log 구조를 차용한다. Shopify는 Slack 공개 채널만 허용하며, Stripe는 Firecrawl 인덱스를 통해 중복 PR을 방지한다. Microsoft dotnet/runtime 분석 결과, 명확한 변경 작업의 성공률은 76-80%이나 아키텍처 설계에는 취약하다.
2. Isolation(격리): Git worktree, Container, Cloud sandbox 중 필요에 따라 선택한다. Ramp는 클라우드 샌드박스를 통해 로컬보다 빠르고 무한 동시성을 확보했다.
3. Tools(도구): MCP 기반 도구 연동이 핵심이다. Microsoft는 AGENTS.md와 데이터 기반 준비로 에이전트 성공률을 41.4%에서 54.5%로 향상시켰다.
4. Verification(검증): 팩토리의 차별점이다. Faire는 모델의 자기 보고 confidence가 품질 지표로 부적합함을 입증했으며(수용률 3% 변동), Uber는 시각적 검증과 정밀도 우선 리뷰를 적용한다.
5. Merge Gate(병합): 기계적 변경은 자동 병합, 복잡한 변경은 인간 리뷰를 거치는 Tiered routing을 사용한다. Stripe는 2회 CI 후 인간 리뷰를 필수화한다.

실측 데이터 및 산업 동향

• 생산성: Stripe는 주당 1,300개 이상의 에이전트 PR을 병합하며, Shopify는 30일간 전체 PR의 약 1/8을 에이전트로 처리했다. Airbnb는 LLM을 활용해 6주 만에 테스트 파일 3,500개를 마이그레이션했다.
• 품질 및 리스크: METR 벤치마크에 따르면 SWE-bench 통과 PR 중 약 50%는 실제 병합이 불가능하다. GitHub 분석 결과 AI 도입 후 중복 코드 블록이 8배 증가하고 리팩토링 비율이 급감했다.
• ROI: DORA 2026 보고서에 따르면 AI 도입 1년 차 수익률은 약 39%이며, 단순 작업 효율은 35-40% 향상되지만 레거시 코드에서는 10% 미만에 그친다.

결론 및 한계

검증된 워크로드는 대규모 기계적 변경(마이그레이션, 유지보수)에 한정되며, greenfield 설계에는 부적합하다. 리뷰 용량 병목, 병렬 브랜치 충돌, 비용 효율성 불분명 등이 주요 한계로 지적된다. 오픈소스 프로젝트(tldraw, curl 등)는 AI 취약점 리포트 폭주로 인해 외부 리뷰를 중단하거나 차단하는 추세다.