월 $110의 자체 개선 파이프라인

개발자가 직접 GitHub 이슈를 처리하는 작업을 자동화하기 위해 autoloop라는 시스템을 구축했다. Claude Max와 간단한 VPS를 조합해 월 약 110달러(Claude Max $100 + VPS $9.99)의 저비용으로 운영 중이다.

시스템 동작 방식

세 개의 systemd 타이머가 정해진 시간(자정, 새벽 2시, 4시)에 자동 실행된다. GitHub 이슈는 다음 단계를 거친다:

• Triage (Sonnet, ~$0.10): 이슈를 읽고 검증하며 스토리 포인트를 추정한다. 너무 큰 이슈는 의존성 순서를 고려해 작은 sub-issue로 자동 분해한다.
• Implement (Opus, ~$1.50): 의존성을 고려해 상위 이슈부터 선택하고, 브랜치를 생성해 Claude가 코드를 작성한 후 테스트를 실행하고 PR을 자동 생성한다.
• 검증: 테스트 실패나 테스트 파일 누락 시 최대 3회까지 재시도하며, 모두 실패하면 needs-human 레이블을 붙이고 다음 항목으로 진행한다.

개발자는 스마트폰에서 PR을 검토하고 병합하는 것만 담당한다.

2주 실행 결과

27개 PR 병합, 1건 실패, 이슈당 평균 비용 $1.61. 시스템이 실패한 경우는 주로 이슈 설명이 불명확하거나 문맥 정보가 부족할 때였다. 개발자는 "좋은 이슈 명세가 좋은 PR을 만든다"고 지적했다.

안전성 설계

핵심 안전 조치는 시스템이 자신을 수정할 수 없다는 것이다. autoloop/ 및 autoloop.toml 경로는 보호되며, 이 경로를 대상으로 하는 이슈는 자동으로 needs-human으로 라우팅된다. 자체 개선(self-improvement)은 가능하지만 자체 수정(self-modification)은 불가능하다.

적용 범위와 한계

이 패턴은 개인 개발자, 소규모 팀, 24시간 수정 주기가 수용 가능한 비 중요 시스템에 적합하다. 규제 환경, 다중 팀 코드베이스, 롤백 메커니즘이 필요한 고객 대면 프로덕션 시스템에는 아직 부적합하다. 저자는 2주 데이터는 장기 검증이 아니므로 3개월, 6개월 후 추가 보고를 약속했다.