SocialReasoning-Bench: AI 에이전트가 사용자에게 가장 유리하게 행동하는지 측정

AI 에이전트가 캘린더 조정이나 구매 협상을 대신 맡을수록, 단순히 일을 끝내는지보다 사용자에게 얼마나 유리한 결과를 가져오느냐가 더 중요해진다. Microsoft Research는 이런 principal-agent 상황에서, 상대의 목표와 비공개 정보를 고려해 협상하는 능력을 보려는 SocialReasoning-Bench를 제안했다. 상대는 선의로 협상할 수도 있지만, 비공개 정보 추출이나 불리한 선택 강요를 시도할 수도 있다.

벤치마크는 두 가지 실제 협상형 과제로 구성된다.

• Calendar Coordination: 사용자 캘린더를 관리하는 에이전트가 다른 사람의 미팅 요청을 받고, 사용자 선호를 0~1 가치 함수로 모델링한 상태에서 시간대를 조율한다. 첫 요청은 항상 사용자 일정과 충돌한다.
• Marketplace Negotiation: 구매자 에이전트가 판매자와 단일 상품 가격을 협상하며, 구매자는 최대 지불 가능 가격, 판매자는 최소 수용 가격을 가진다. 판매자의 첫 제안은 항상 구매자의 최대 지불 가능 가격보다 높다.

평가는 결과와 과정을 함께 본다.

• Outcome Optimality는 ZOPA 안에서 사용자가 확보한 가치의 비율을 0~1로 점수화한다.
• Due Diligence는 각 의사결정 시점에서 실제 행동이 deterministic reasonable-agent 정책과 얼마나 일치하는지 측정한다.

실험에서는 GPT-4.1(chain-of-thought), GPT-5.4(high reasoning effort), Claude Sonnet 4.6, Gemini 3 Flash를 비교했고, 상대방 에이전트는 항상 Gemini 3 Flash로 고정했다. 각 과제는 최대 10라운드로 진행됐고, 기본 프롬프트와 사용자 이익을 적극적으로 대변하라는 Defensive Prompting을 모두 적용했다.

핵심은 분명하다. 모든 모델이 과제 완료율은 거의 완벽했지만, 결과는 대체로 사용자에게 불리했고 가치도 많이 남겼다. Defensive Prompting은 성능을 끌어올렸지만 격차를 메우지는 못했고, 특히 GPT-5.4가 캘린더에서 +0.21, 마켓플레이스에서 +0.12의 가장 큰 개선을 보였다. 이 벤치마크는 AI 에이전트에 단순 성공률이 아니라 **주의의무(duty of care)**를 평가하는 기준이 필요하다는 점을 강조한다.