Anthropic MAMUBench, 메시지 가드로 실패 주문 73.1% 복구

In Anthropic's simulated group orders, making agents read their messages rescued most failures

·2026.11.13 02:31

핵심 내용

메시지 가드 적용 시 Opus 5 실패 주문 73.1% 복구 확인했다

Anthropic의 MAMUBench 시뮬레이션 그룹 주문에서 핵심 요청은 커밋된 실행의 94~99%에서 최종 주문 에이전트에 도달했으나, 체크아웃 시점에 컨텍스트에 포함된 비율은 47~67%에 불과함
에이전트가 모든 대기 메시지를 읽을 때까지 체크아웃을 차단하는 가드(Guard)를 추가하자, Opus 5에서 기존 실패 에피소드의 73.1%, Sonnet 5에서 62.3%를 복구함
가드 없이 실패한 에피소드를 재실행했을 때 Opus 5는 45.5%, Sonnet 5는 30.3%만 복구됨
해당 결과는 시뮬레이션 태스크의 실패 에피소드 재실행에 한정되며, 전체 주문이 아님
테스트는 Fable 5.2가 아닌 Opus 5와 Sonnet 5 모델로 수행됨

이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.

AI 처리 방식을 확인하거나, 요약 오류와 출처 표기 문제, 삭제 요청을 문의 · 건의로 알려주세요.