추론이 LLM 사실 회상 능력 경계를 확장

단일 홉(single-hop) 사실 질문처럼 논리적 분해가 필요 없는 문제에서도 추론을 켜는 것만으로 LLM이 가중치에 저장된 지식을 더 잘 꺼낸다는 것을 실험으로 입증했다.

핵심 실험 설계:

• 추론 ON/OFF 토글 가능 모델(Gemini-2.5-Flash/Pro, Qwen3-32B) 사용
• pass@k 지표로 단순 정확도(pass@1)가 아닌 능력 경계를 측정
• 데이터셋: SimpleQA-Verified(1,000개), EntityQuestions(1,000개)

주요 결과:

• 추론 ON이 모든 모델·데이터셋에서 OFF를 일관되게 상회
• k가 클수록 격차가 더 벌어짐 → 단순 확률 조정이 아니라 경계 자체 확장
• Qwen3-32B의 경우 SimpleQA-Verified에서 pass@k가 추론 ON 시 약 2배 상승

연구팀은 추론 효과를 정량화하는 지표 Ω를 별도 정의해 큰 k에 더 큰 가중치를 부여했으며, 메커니즘으로는 (1) 연상적 단서 생성, (2) 자기 수정 루프 두 가지를 제시한다. Google Research·Technion·Tel Aviv University 공동 연구로 COLM 2026 발표 예정.