XYBench, LLM의 진짜 목표 파악 능력 측정

XYBench: AllenAI가 공개한, 사용자가 잘못 짚은 질문에서 LLM이 진짜 목표를 찾는지 확인하는 벤치마크

·2026.11.16 09:30

핵심 내용

Ai2가 공개한 XYBench는 LLM이 사용자의 잘못된 방법 뒤 진짜 목표를 파악하는지 측정한다.

1 / 4

자세히 보기

  • Ai2가 CMU, NVIDIA, 존스홉킨스대학교와 함께 개발한 XYBench가 EMNLP 2026 최우수 리소스 논문상을 수상함
  • 총 8,115개 질문으로 구성되며, 사용자가 잘못된 방법(Y)을 고집할 때 진짜 목표(X)를 파악해 더 나은 해결책으로 안내하는지 측정함
  • 평가 결과 모델들은 진짜 목표 해결책을 언급하는 비율(59~71%)이 높지만, 답변의 초점을 진짜 목표에 두는 비율은 낮음(35~41%)
  • 사람 최고 점수 답변과 비교했을 때 오해 식별은 사람(79%)이 모든 모델(47~60%)보다 우세하며, 완전 협력 응답은 모델(20~28%)이 사람(18%)보다 높음
  • 객관식 실험에서는 모델들이 목표 중심 답변을 71~84% 선택했으나, 서술형 실험에서는 진짜 목표에 초점을 둔 비율이 35~41%로 낮아 '알아보는 능력'과 '만들어 내는 능력' 간 간극이 확인됨
  • 오라클 실험(진짜 목표 정보 제공)에서는 Claude Sonnet 4.6의 오해 식별률이 47%에서 34%로 하락했으며, 별도의 한 줄 프롬프트 추가 실험에서는 오해 식별률이 10~22%p 상승했으나 답변 초점은 크게 변화하지 않음
  • 데이터셋은 CC BY-NC-SA 3.0 라이선스로 제공되며, 영어 및 절차형 오해에 한정된 단일 턴 설정임
  • Claude Sonnet 4.5가 데이터 생성 및 채점에 모두 관여하여 편향 가능성이 있으며, WikiHow 기반 합성 데이터가 전체의 약 77%를 차지함

이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.

AI 처리 방식을 확인하거나, 요약 오류와 출처 표기 문제, 삭제 요청을 문의 · 건의로 알려주세요.