자체 복구형 Agent 루프 구축하기

오래된 API/SDK 예제를 자동으로 찾아 고치고 다시 검증하는 closed-loop Agent workflow를 다룬다. 에이전트가 결과를 만들고, 검증이 피드백을 주고, 그 피드백이 다음 수정을 이끄는 구조다.

예시는 OpenAI Cookbook의 의도적으로 낡은 노트북 3개다. Codex CLI를 headless mode로 돌려 리뷰-수정-검증을 반복하고, 초기 리뷰는 병렬로 실행해 세 노트북의 문제를 한 번에 수집한다.

• Review: 파일은 건드리지 않고 구조화된 findings만 반환한다.
• Repair: review 결과와 직전 validation delta를 반영해 복사본에 최소 수정만 적용한다.
• Validate: 노트북을 실제로 실행해 남은 문제를 remaining_delta로 다시 넘긴다.

실행 전에는 재현성을 위해 고정된 CLI 버전 @openai/[email protected]을 설치하고, OPENAI_API_KEY를 설정하며, 기본 모델로 gpt-5.4-mini와 gpt-5.5를 쓴다. reasoning effort는 low로 두고, 공유 계약에는 preferred embedding model text-embedding-3-large와 함께 client.chat.completions.create -> client.responses.create, qdrant.search -> qdrant.query_points, oaieval CLI -> 최신 Evals API 같은 교체 규칙이 들어가며, 샘플은 self-contained로 유지하고 수동 결과 파일 자리표시자는 없앤다.

리뷰·수정·검증은 JSON 스키마로 연결된다. review는 findings만 내고, repair는 변경 요약과 갱신된 경로를 돌려주며, validation은 남은 delta를 다음 입력으로 넘긴다. 검증에서 남은 delta가 다음 repair 입력이 되면서 프롬프트도 점점 더 구체화된다. 핵심은 이 패턴이 노트북에만 한정되지 않고, 신뢰할 수 있는 피드백으로 품질을 측정할 수 있는 작업 전반에 적용된다는 점이다.