AI BriefingAi2 연구, LLM 신개성 판단 실패 확인
Can we trust LLMs to judge whether a research idea is novel?
·2026.10.28 01:12
핵심 내용
Ai2 벤치마크가 LLM 신개성 판단의 불안정성과 단순 베이스라인의 우위를 입증했다
자세히 보기
- Ai2가 LLM의 과학적 연구 아이디어 신개성 판단 신뢰도를 평가하는 벤치마크와 논문 'Old Ideas, Novel Problems'를 공개함
- AI 생성 아이디어의 신개성 평가는 불안정하며, 프롬프트의 몇 단어 변경만으로 GPT-5.4의 정확도가 Human+Generated 데이터셋에서 93.5%에서 40.9%로 변동함
- 단순 프롬프트 기반 Claude Opus 4.6 베이스라인이 비용 $2.59에 macro-F1 0.854를 기록하며, Idea Novelty Checker(macro-F1 0.642, $30.66)와 Sakana AI의 AI Scientist(macro-F1 0.772, $82.05) 등 전용 시스템을 능가함
- 실시간 검색 및 고도 추론 예산 추가가 판단을 일관되게 개선하지 못했으며, 에이전틱 GPT-5.6 Sol 설정은 macro-F1 0.78로 단순 베이스라인에 못 미치고 결정당 비용은 약 10배 더 들었음
- 벤치마크에는 ICLR 2026 동료 검토에서 심사위원이 독창성을 명시적으로 논의한 145개의 저신개성 아이디어 풀과 154개의 고신개성 인간 작성 아이디어 풀이 포함됨
이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.
