Microsoft, NextLat 연구 공개

Microsoft Research는 기존의 Next-token prediction 방식의 한계를 극복하기 위해 Next-Latent Prediction (NextLat) 방법론을 제안했습니다. 이 방식은 트랜스포머가 단순히 다음 토큰을 예측하는 것을 넘어, 자신의 **다음 잠재 상태(next latent state)**를 스스로 예측하도록 학습시킵니다.

NextLat의 주요 이점은 다음과 같습니다:

• 표현 학습(Representation Learning): 트랜스포머가 과거 이력을 압축된 **신념 상태(belief states)**로 변환하도록 유도하여 추론 및 계획 능력을 강화합니다.
• 데이터 효율성(Data Efficiency): 원-핫(one-hot) 토큰을 예측하는 것보다 잠재 공간(latent space)에서 예측하는 것이 더 밀도 높은 감독 신호(supervision)를 제공합니다.
• 추론 속도 향상(Faster Inference): 재귀적 다단계 예측(recursive multi-step lookahead)을 통해 최대 3.3배 빠른 추론이 가능한 self-speculative decoding을 지원합니다.