AI BriefingXYBench, LLM이 사용자의 잘못된 접근을 실제 목표로 유도하지 못함
XYBench: Helping with the problem behind the question
·2026.11.14 02:02
핵심 내용
Ai2가 발표한 XYBench는 LLM이 사용자의 오개념을 바로잡는 능력을 측정함
자세히 보기
- Ai2가 개발한 XYBench는 8,115개 질문으로 구성된 벤치마크로, 사용자가 실제 목표(X) 대신 잘못된 접근법(Y)에 대해 도움을 요청하는 'XY 문제'를 AI 어시스턴트가 식별할 수 있는지 테스트함
- Claude Sonnet 4.6, GPT-5, Gemini 3.1 Pro, Qwen3.5-9B, DeepSeek-V4 Pro를 평가한 결과, 모델들은 명시된 요청에 대한 해결책을 제시하는 경우가 많았으나 사용자를 근본적인 목표로 유도하는 경우는 드묄
- Stack Overflow 질문에서 모델들은 응답의 35~41%에서만 근본적인 목표에 집중했으며, 이는 명시된 요청에 집중하는 비율(47~57%)보다 낮음
- 의도된 목표를 명시적으로 제공한 오라클 실험에서는 해결책 포함률이 개선되었으나, 오개념 식별 측면에서 인간 참고 답변과의 격차를 일관되게 줄이지는 못함
- 벤치마크는 세 가지 측면을 측정함: 실용적 해결책(Y와 X 모두 처리), 실용적 강조(Y와 X 중 어디에 초점), 오개념 식별(Y에서 벗어나게 유도)
- XYBench는 EMNLP 2026에서 Best Resource Paper Award를 수상했으며 Hugging Face와 GitHub에서 제공됨
이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.
관련 추천
Parsimony 벤치마크 공개, AI 모델 코드 팽창 측정… Gemini 3.1 Pro Preview가 최소 코드 추가PPinterest, 루프 엔지니어링으로 분석 에이전트 준수율 89.3% 달성
Perplexity SPACE 보안 평가, 샌드박스 탈출 無... 범용 모델이 보안 특화 모델 상회modern-web-guidance, 현대 웹 원시 적용으로 코딩 에이전트 통과율 최대 36%p 향상