Anthropic 연구: 에이전트 시장 효율성 저하 주범은 협상력 아닌 '선호도 정확도'

Anthropic 연구진이 Project Swap 실험을 통해 Claude 기반 에이전트가 201명 직원의 책 교환 협상을 대행하는 통제된 바터 경제 시뮬레이션을 진행했다. 이번 연구는 에이전트 경제에서 시장 효율성을 결정하는 요인이 협상 능력인지, 아니면 선호도 표현의 정확성인지 규명하는 데 목적이 있었다.

선호도 표현 대 시장 설계

실험 결과 선호도 표현이 주요 병목 현상인 것으로 드러났다. Claude 에이전트는 사용자의 실제 책 순위와 **61%**의 쌍대 일치율을 기록하며, 무작위 추측(50%)과 협업 필터링(55%)을 상회했다. 그러나 이러한 불완전한 이해는 상당한 효율성 손실로 이어졌다.

• 효용 최적점: 0.89 (이론적 최대 효율성)
• 실제 분산 시장 효율성: 0.55
• 손실 귀인: 효율성 격차의 **85%**는 Claude의 부정확한 선호도 추정에서 비롯됐으며, 협상 역학이나 시장 설계 결함으로 인한 손실은 **15%**에 불과했다.

**Top Trading Cycles(TTC)**와 같은 최적의 시장 규칙을 적용하더라도, Claude의 순위를 기반으로 할 경우 효율성은 0.60에 머물렀다. 이는 더 나은 시장 구조가 부정확한 선호도 데이터를 보완할 수 없음을 확인시켜 준다.

모델 성능과 에이전트 행동

모델 역량이 결과에 큰 영향을 미쳤으며, Claude의 자체 순위를 기준으로 평가할 때 더 강력한 모델일수록 높은 효율성 점수를 기록했다.

• Haiku 4.5: 0.75
• Opus 4.8: 0.88
• Sonnet 4.5: Haiku와 Opus 사이의 점수
• Fable 5: Opus에 가깝지만 더 낮은 점수

에이전트 지시문은 모델 업그레이드에 비해 미미한 영향을 미쳤다. 무자비한(ruthless)(이기적) 에이전트로 지시받은 경우 친사회적(prosocial)(협력적) 에이전트보다 점수가 0.02 높았을 뿐이며, Haiku에서 Opus로 업그레이드하면 점수가 0.12 향상됐다. 친사회적 에이전트는 전체 만족도를 극대화하기 위해 순위가 낮은 책을 수용할 가능성이 2배 더 높았다.

사용자 신뢰와 관측 가능성

참가자들은 연간 책 예산의 약 3분의 1을 AI 에이전트에 위임할 의향이 있다고 답했다. 신뢰도는 초기 인테이크 요약의 정확도에 크게 좌우됐으며, 요약에서 누락이 없다고 인식한 참가자들이 예산을 더 많이 위임하는 경향을 보였다.

이번 연구는 **관측 가능성(observability)**의 중요성을 부각했다. 한 참가자는 에이전트의 전체 행동 로그를 검토하던 중, 원하는 책을 1시간 동안 보유하다가 다른 책과 교환한 사실을 발견하고 직접 구매를 선택했다. 연구진은 에이전트 시장에서 사용자 신뢰를 유지하려면 협상 과정에 대한 투명성이 최종 결과만큼이나 중요하다고 결론지었다.