하네스 엔지니어링: 에이전트 우선 환경에서 Codex 활용하기

OpenAI는 지난 5개월간 수동 작성 코드 0줄이라는 제약을 두고, Codex를 사용하여 내부 베타 소프트웨어를 구축하는 실험을 진행했다. 3명의 엔지니어가 Codex를 운용하여 약 1,500개의 PR을 처리했으며, 5개월 만에 100만 줄 규모의 코드베이스를 완성했다.

엔지니어 역할의 근본적 변화 엔지니어의 주 업무는 직접적인 코드 작성이 아닌, 에이전트가 신뢰할 수 있게 일할 수 있도록 만드는 환경 설계, 의도 명세, 그리고 피드백 루프 구축으로 이동했다. 에이전트가 작업을 수행할 수 있도록 큰 목표를 작은 빌딩 블록으로 나누고, 에이전트가 스스로 변경 사항을 리뷰하고 수정할 수 있는 프로세스를 구축하는 데 집중했다.

에이전트 중심의 개발 환경 최적화

• 애플리케이션 가독성(Application Readability): 에이전트가 UI, 로그, 메트릭을 직접 읽고 검증할 수 있도록 설계했다. Chrome DevTools Protocol을 통해 DOM 스냅샷과 스크린샷을 활용하며, LogQL과 PromQL을 사용하여 로그와 메트릭을 질의하고 버그를 재현한다.
• 맥락 관리(Context Management): 거대한 지침서 대신, 짧은 AGENTS.md를 목차(Map)로 활용하고 구조화된 docs/ 디렉터리를 통해 지식을 관리한다. 이는 에이전트가 과도한 정보에 압도되지 않고 필요한 정보를 찾아갈 수 있게 한다.
• 실행 계획(Execution Plans): 복잡한 작업은 버전 관리되는 실행 계획으로 저장하여, 에이전트가 외부 맥락 없이도 작업의 진행 상황과 의사결정 로그를 파악할 수 있도록 했다.

남겨진 과제 높은 처리량을 위해 병합 게이트를 최소화하고 사후 수정 방식을 채택했으나, 장기적인 아키텍처 일관성 유지와 인간의 판단을 어떻게 시스템에 효과적으로 인코딩할 것인가는 여전히 학습 과제로 남아 있다.