AI 에이전트 개발 1년: 코드 44만 줄, 개발자의 역할은 통제와 개선으로 이동

• AI 에이전트에 코드를 맡기며 개발자의 핵심 업무가 코딩이 아닌 에이전트 통제와 개선으로 이동함
• 설계, 룰, 리뷰를 리포 밖 격리 환경에서 수행해 결과를 설계와 룰로 되돌리는 닫힌 루프 구조를 구축함
• 룰 감사 시 반복 위반, 미사용, 미위반 룰을 분석해 신설 및 폐지를 제안하고, 현재 표준 룰 274개와 패턴 299개를 관리함
• 머지 후 코드 생존율과 복잡도 추이를 추적해 에이전트의 코드 품질을 검증하며, SWE-bench Pro 봉인 환경에서 해결률이 87.1%에서 73.0%로 하락한 사례를 근거로 에이전트 자기 보고를 신뢰하지 않는 원칙을 적용함

하네스 엔지니어링의 재정의

• 에이전트 설정 기술이 아닌, 코드 생산성 폭증에 맞춰 개발 과정 전체를 재설계하는 접근임
• OpenAI의 'Humans steer. Agents execute.' 원칙과 유사하나, 결함 없는 구조 성장을 위한 개발 프로세스 재구성에 초점을 맞춤
• DORA 보고서가 지적한 AI 도입 시 배포 불안정성 증가 문제를 해결하기 위한 체제임

검증과 관찰 체계

• 타입 검사, 린트, 정적 분석 등 기계적 검증을 기본 안전망으로 삼고, 의미와 맥락은 LLM이 판정하는 층을 나눔
• PR 리뷰 시 지적 장부를 활용해 회차 간 컨텍스트를 유지하고, 고치지 않은 코드에서는 심각한 문제만 지적하도록 수렴성을 확보함
• 머지 후 1주 뒤 PR 추가 줄의 93%, 24일째 92%가 생존하는 등 코드 생존율을 직접 측정함

개발자의 새로운 역할

• 코드 작성 대신 스펙 정의와 시행착오 해결에 시간을 투입하며, 약 1만 가지 시각화 종류를 담은 스펙 정립에 3~4개월 소요됨
• 설계 검토와 리뷰 과정에서 추출한 패턴, 문제, 기술을 카탈로그로 축적해 이해 부채를 줄임
• 기계가 읽기 좋은 코드 구조와 문법 이론이 아직 부재하다는 점을 열린 질문으로 제시함