AI BriefingApple Research, KL 정규화 정렬의 정보 이론적 한계 도출
·2026.11.12 09:00
핵심 내용
Apple Research가 best-of-N이 이론적 한계에 근접하고 PPO, GRPO는 비최적임을 증명했다.
자세히 보기
- 고정 KL 발산 예산 하에서 달성 가능한 최대 기대 보상 증가량의 닫힌 형태(closed-form) 식을 유도하여 KL 정규화 정렬의 정보 이론적 한계를 규명함
- 최적 보상 개선은 기존 분석에서 사용된 KL의 제곱근이 아닌 Jeffreys 발산 항에 의해 결정되며, 공분산 재구성(covariance reformulation)을 통해 베이스 모델 샘플만으로 추정 가능함
- 안전성 및 요약 작업에 대한 실증 평가 결과, best-of-N은 이론적 한계에 근접하는 반면 PPO와 GRPO는 현저히 비최적(suboptimal) 상태임
- 보상 에너블링(reward ensembling)이 보상 해킹을 완화함을 증명하여, 보상 오차가 커질수록 이상적 정렬과 프록시 정렬 간 격차가 증가하고 KL 페널티 계수가 커질수록 감소한다는 이론적 근거를 제공함
이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.
