기대 그래디언트는 공분산, 피셔는 분산… 업데이트 상한 구조 규명

강화학습, 온폴리시 증류, 근접 데이터 기반 지도 미세조정 시 모델 파라미터의 **5–30%**만 변경된다. 기존 샘플 재가중은 업데이트 크기가 작은 이유는 설명하지만, 왜 **희소(sparse)**한지는 설명하지 못한다. 작은 크기의 밀집 업데이트는 여전히 밀집 상태이기 때문이다. 핵심은 기대 그래디언트가 공분산이고 피셔 정보가 분산이라는 점이며, 이는 업데이트 크기에 엄격한 상한을 부과한다.

공분산 구조

샘플러의 자체 샘플에서 점수(로그 확률의 도함수)는 평균이 0이다. 따라서 기대 그래디언트 $G_i = E[A \cdot score_i]$는 공분산 $Cov(A, score_i)$이 되고, 피셔 $F_i$는 분산 $Var(score_i)$이 된다. 이는 부등식 $|G_i| \le std(A) \cdot \sqrt{F_i}$를 도출한다. 큰 피셔 값은 큰 그래디언트에 필요하지만 충분 조건은 아니다. 보상 신호가 파라미터의 민감도와 정렬되어야 한다. 예를 들어, 피셔 크기 기준 상위 1% 파라미터는 그래디언트 크기 기준 상위 1%의 **47.40%**를 차지하며, 이는 무작위 선택 시의 1%보다 훨씬 높다.

토큰 수준 민감도

토큰 수준에서 softmax 연산은 평균 민감도를 차감하므로, 점수는 선택된 토큰의 로짓이 평균 후보 대비 얼마나 이동하는지를 반영한다. 토큰 피셔는 유력 후보 간 로짓 민감도의 분산이다. 모델이 확신에 차 있거나 후보들이 유사하게 반응하여 모든 유력 후보를 동일하게 이동시키는 파라미터는 토큰 피셔가 작다. 전체 응답에서 위치 간 교차 항은 평균이 0이 되므로, 총 피셔는 토큰 수준 피셔의 합이다.

오프폴리시 데이터를 위한 점수 중심화

이 프레임워크는 **점수 중심화(score centering)**를 통해 오프폴리시 설정으로 확장된다. 샘플이 다른 분포 $\mu$(예: 오래된 모델 또는 추론 엔진)에서 추출된 경우, 점수는 현재 정책 $p$가 아닌 $\mu$ 기준으로 중심화해야 한다. 이는 샘플러의 전체 다음 토큰 분포를 알아야 함을 의미한다. 중심화 없이는 점수의 평균이 0이 되지 않아 공분산 구조가 깨진다. 중심화를 적용하면 그래디언트는 공분산으로, 피셔는 분산으로 남아 데이터가 온폴리시가 아니어도 이론적 상한이 유지된다.