스스로 개선하는 AI 에이전트

Iris는 CrewAI의 내부 AI 직원으로, Slack에서 일하며 실제 코드 작성, PR 생성·리뷰, 도구 온보딩, 자체 코드 수정까지 수행한다. 몇 달간 엔지니어링 팀과 함께 생산 환경에서 돌아가며, CrewAI는 이를 entangled agents 가설의 실험대로 삼았다.

핵심은 반복되는 행동을 기억하고, 그 결과를 더 정교한 실행 단위로 바꾸는 것이다. 밤마다 돌리는 dreaming cycle이 대화를 주제별로 묶어 안정된 사실을 canonical memory로 정리하고, 회사 전체를 이해하는 World Model에 가까운 구조를 만든다.

• Memory는 대화를 이해하고, 신뢰할 수 있는 자격 증명 소스나 팀별 저장소 같은 안정 사실을 기억한다.
• Skills는 반복되는 비결정적 워크플로를 공식 스킬로 바꾸고, 사람이 검토해 승인한 뒤 추가한다.
• CrewAI Flows는 PR 후속 조치처럼 매번 같은 순서로 반복되는 작업을 결정적 흐름으로 고정한다.

운영은 매끈하지 않았다. 샌드박스 연결이 끊기고, 일부 제안은 거절됐으며, AI는 사람보다 훨씬 빨리 신뢰를 잃는다는 점도 확인했다. 동시에 경량 실행 경로, 대화 단위 메모리, 메모리의 노화 인식, provenance trail 같은 생산 원칙이 더 분명해졌다.

성과도 분명했다. AI 에이전트는 CrewAI 저장소 전반에서 수백 개의 PR을 머지했고, 조직 전체 PR의 약 4분의 1을 차지하고 있다. 다만 PR 수만으로 성과를 재는 것은 아니며, 더 많은 출력이 자동으로 더 좋은 결과를 뜻하지도 않는다. Iris 저장소는 전부 AI가 작성했으며, 인간은 아키텍처·설계·판단에 집중하고 에이전트는 구현량을 맡는 분업이 자리 잡았다.

결론은 단순하다. 가장 멋진 데모를 보여주는 에이전트가 아니라, 프로덕션에서 버티며 신뢰를 쌓는 에이전트가 살아남는다.