ALTK‑Evolve: AI 에이전트를 위한 업무 중 학습

ALTK‑Evolve는 AI 에이전트가 매번 대화 기록을 다시 읽는 대신, 실행 흔적에서 원칙을 뽑아내고 다음 작업에 바로 활용하게 만드는 long-term memory 시스템이다. 단순한 transcript 재주입이 아니라, 경험을 가이드라인으로 정리해 재사용한다.

핵심 흐름은 두 단계다.

• Downward flow: Interaction Layer(Langfuse 같은 OpenTelemetry 기반 관찰 도구)에 쌓인 전체 trajectory에서 추출기가 구조적 패턴을 뽑아 후보 엔티티로 저장한다.
• Upward flow: 백그라운드 consolidate-and-score 작업이 중복을 합치고, 약한 규칙을 제거하고, 검증된 전략을 강화해 고품질 규칙 라이브러리를 만든다.

이렇게 정제된 지식은 필요한 순간에만 다시 주입된다. 덕분에 에이전트는 컨텍스트를 과도하게 부풀리지 않으면서도, 상황에 맞는 판단 기준을 점진적으로 축적할 수 있다.

평가에서는 AppWorld에서 효과가 확인됐다. ReAct agent에 이전 실행에서 생성한 상위 5개 가이드라인을 붙여 Scenario Goal Completion (SGC) 를 측정한 결과, Easy는 79.0% → 84.2%, Medium은 56.2% → 62.5%, Hard는 19.1% → 33.3%, 전체는 **50.0% → 58.9%**로 개선됐다.

특히 어려운 과제에서 효과가 컸다. Hard 구간은 +14.2%p 상승했고, 상대적으로는 **74%**의 성공률 증가를 보였다. 저자는 이 결과를 통해 시스템이 단순 암기가 아니라 전이 가능한 원칙을 학습하고 있으며, 또한 시나리오 변형 간 일관성까지 높인다고 설명한다.

도입 경로도 세 갈래로 나뉜다.

• No-code: Claude Code, Codex, IBM Bob용 플러그인으로 바로 적용
• Low-code: altk_evolve.auto를 추가해 트레이스를 내보내고 가이드라인을 생성
• Pro-code: CUGA에 MCP로 통합해 실행 전에는 get_guidelines, 실행 후에는 save_trajectory로 학습 루프를 닫는다

결국 메시지는 분명하다. 에이전트가 매일 아침 인턴처럼 처음부터 다시 시작하는 구조를 벗어나, 실행할수록 더 나아지는 시스템으로 바뀌어야 한다는 것이다.