LLM의 수학 우수성, 검증 용이성 아닌 사전학습 데이터 품질이 원인

Steven Byrnes는 LLM이 수학에서 두각을 나타내는 주된 원인이 '검증 용이성(Verifiability)'이 아니라, 수학 문헌 자체가 가진 높은 정확도(무작위 문장이 참일 확률 99% 이상)에 기반한 사전학습 데이터의 품질이라고 주장한다. 그는 수학이 모방 학습만으로도 논리적 추론의 기초를 다질 수 있는 반면, 다른 분야는 문헌 오류가 많아 학습에 혼란을 줄 수 있다고 지적한다.

Byrnes는 RLVR(검증 가능한 보상 강화 학습)이 새로운 수학적 개념을 생성하는 것이 아니라, 사전학습을 통해 이미 확보된 '전달력 있는 도구(legible tools)'를 활용하게 한다고 강조한다. 그는 초등학교 수준 데이터만으로는 RLVR을 통해 IMO 수준의 성능을 끌어올릴 수 없으며, 수학 성능 비약의 배경에는 PhD 전문가들을 고용한 고급 수학 데이터의 필터링과 SFT/RLAIF의 조합이 있다고 분석한다. 또한, 자연어 증명은 Lean 자동화 이전부터 이미 우수했으며, RLVR은 주로 스타일이나 메타인지 전략을 다듬는 역할을 한다고 설명한다.