AI BriefingIBM ALTK-Evolve, GPT-4.1로 tau2-bench 리테일 67.5% 달성
ALTK-Evolve: How learned memory tops the τ²-bench leaderboard on customer service tasks without a frontier model
·2026.10.21 00:19
핵심 내용
IBM ALTK-Evolve가 GPT-4.1로 tau2-bench 리테일 67.5% Pass^4를 달성했다.
자세히 보기
- IBM Research의 ALTK-Evolve가 GPT-4.1을 활용해 tau2-bench 리테일 도메인에서 67.5% Pass^4를 기록함. 이는 모든 프론티어 모델과 파인튜닝된 RAFT-30B-A3B(61.4%)보다 6.1포인트 높은 수치임.
- 가중치 업데이트나 인간 주석 없이 에이전트 궤적에서 프롬프트 레벨 가이드라인을 추출함. 추출된 가이드라인은 마크다운 리스트 형태로 시스템 프롬프트에 추가됨.
- 항공 도메인에서는 sup3 가이드라인을 적용한 GPT-4.1 에이전트가 리더보드에서 44% Pass^4를 달성함. 반면 lossless 가이드라인을 적용한 GPT-5.5 에이전트는 82.0% Pass^4로 1위를 기록함.
- 가이드라인 추가로 입력 토큰 비용은 32-65% 증가하지만, 대화 턴은 0.3-0.4회 감소함. 이는 완료 시간 단축에 기여하며, 프롬프트 캐싱을 통해 대부분의 비용을 회수할 수 있음.
이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.
