AI BriefingRLVR 이론: pass@1 개선이 pass@k 성능을 구조적으로 저하시킨다
[R] There is no free lunch in RLVR: under strategy specialization, every pass@1 gain provably costs some prompt, and the pass@k crossover has a tight bound [R]
·2026.11.02 13:30
핵심 내용
RLVR 이론 논문이 pass@1 개선이 pass@k 성능을 구조적으로 저하시킨다는 것을 증명했다
자세히 보기
- RLVR의 'no free lunch' 정리를 증명함: 독점적 특화(exclusive specialization) 조건에서 pass@1을 높이는 모든 업데이트는 최소 하나의 프롬프트에서 성공률을 엄격하게 낮추는 구조적 비용을 발생시킴
- Karlin total positivity를 활용해 pass@k 크로스오버에 대한 엄밀한 경계(tight bound)를 설정함: 크로스오버 횟수는 프롬프트별 성공률 변화의 부호 변이(sign variation)를 초과할 수 없음
- pass@1과 pass@k 간 최적 트레이드오프 프론티어를 식별함: 프롬프트별 손실을 금지하면 크로스오버와 pass@1 개선 효과가 모두 소멸함
- 기존 평가 로그를 활용한 실용적 진단 도구를 제공하여 크로스오버 횟수와 최악의 pass@k 손실을 산출함: Omni-MATH 데이터 검증 결과 k=64와 k=256 사이에서 하나의 크로스오버 발생 확인
이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.
