스스로 개선하는 소프트웨어 (5분 읽기)

코딩 에이전트가 소프트웨어를 만들고, 고치고, 검증하는 자동 개선 플랫폼이 소개됐다. 핵심은 Create, Improve, Extend, Hill Climb, Review의 다섯 프롬프트로 에이전트 개발 생명주기를 묶는 방식이다.

플랫폼이 스스로 개선되는 이유는 실행 환경이 처음부터 이 루프에 맞게 설계됐기 때문이다. 에이전트 코드, 트레이스, 세션, 로그, eval suite와 실제 서비스가 한곳에 모여 있고, 모든 핵심 동작을 API나 cURL/bash로 호출할 수 있다. 세션과 트레이스는 Postgres에 저장되고, 플랫폼은 로컬 Docker에서 돌아가 테스트-검토 루프가 약 5초 수준으로 유지된다.

• Create: Claude Code가 Agno docs를 MCP로 검색해 새 에이전트를 스캐폴딩하고, app/main.py에 등록한 뒤 컨테이너를 재시작해 스모크 테스트한다. 5~10분이면 프롬프트에서 에이전트까지 도달한다.
• Improve: INSTRUCTIONS로부터 8~12개의 probe를 만들고, 황금 경로·엣지 케이스·도구 선택·prompt injection까지 돌린다. 실패 유형에 맞춰 규칙을 조이거나 늘리고 agents/<slug>.py를 고친 뒤, 최대 5라운드까지 실패한 probe만 다시 실행한다.
• Extend: 새 도구 추가, 프롬프트 수정, 버그 수정을 작은 단위로 반영한다. 변경마다 스모크 테스트로 확인하고, Agno docs를 다시 참조해 구현을 맞춘다.
• Hill Climb: eval을 돌려 실패를 진단하고, evals/cases.py의 케이스·rubric·기대 tool call을 기준으로 범위 안의 문제를 고친 뒤 전체 suite를 다시 돌려 회귀를 잡는다.
• Review: 문서, 코드, 설정의 drift를 찾아 파일 등록, env var, 문서 경로를 맞추고 사소한 불일치는 바로 수정한다.

Improve는 분포 밖 실패를 잡고, Hill Climb는 분포 안 케이스의 회귀를 막는다. 이 둘을 함께 돌리면 에이전트 품질이 계속 올라간다.

이런 구조는 agent platform에서 특히 잘 맞는다. actions, data, iteration tool이 한곳에 있어 end-to-end 테스트와 수정이 가능하고, 그 결과 플랫폼 자체가 가장 먼저 개선 대상이 된다. agent-platform-railway는 이 루프를 로컬 Docker나 Railway에서 바로 돌릴 수 있는 스타터 코드베이스로 제시된다.