Length Value Model: 토큰 단위 길이 모델링을 위한 확장 가능한 가치 사전 학습

기존의 생성 길이 모델링은 시퀀스 전체를 대상으로 하는 거친(coarse-grained) 방식에 머물러 있어 세밀한 제어가 어려웠다. 이를 해결하기 위해 도입된 **LenVM(Length Value Model)**은 각 디코딩 단계에서 남은 생성 길이를 예측하는 토큰 단위 프레임워크다.

LenVM은 길이 모델링을 가치 추정(value estimation) 문제로 정의한다. 각 생성 토큰에 일정한 음의 보상(negative reward)을 부여함으로써, 남은 생성 구간에 대한 할인된 수익(discounted return)을 예측하도록 학습한다. 이 방식은 별도의 주석(annotation) 없이도 밀도 높고 편향되지 않은 학습 신호를 제공하며 확장이 용이하다.

실험 결과, LenVM은 LLM 및 VLM에서 탁월한 성능을 입증했다:

• LIFEBench: 7B 모델에 적용 시 정확도가 30.9에서 64.8로 대폭 향상되어 폐쇄형 모델을 상회했다.
• GSM8K: 200토큰 제한 조건에서 기존 방식(6%) 대비 **63%**의 정확도를 유지하며 성능과 효율성 사이의 균형을 조절했다.
• 해석 가능성: 토큰 단위의 가치 값을 통해 특정 토큰이 추론 과정을 단축시키는지 혹은 연장시키는지에 대한 동역학을 파악할 수 있다.