Microsoft의 Full-bandwidth Transformer

기존의 자기회귀(Autoregressive) Transformer는 토큰 간의 수평적 접근은 뛰어나지만, 모델의 깊이 방향인 수직적 피드백 채널은 매우 좁다. 디코딩 과정에서 샘플링된 토큰만 다시 입력될 뿐, 최상위 레이어의 은닉 상태(hidden state)는 버려지기 때문이다.

Full-bandwidth Transformer는 이 문제를 해결하기 위해 Latent Feedback 메커니즘을 도입했다. 각 디코딩 단계에서 이전 단계의 최상위 은닉 상태를 Gated Linear Unit을 통해 샘플링된 토큰 임베딩과 결합하여 다음 입력으로 다시 전달한다. 이를 통해 비언어적(non-verbalized) 계산 결과가 모델의 깊이 예산(depth budget) 내에서 재사용될 수 있도록 한다.

이 구조는 기존의 Transformer 아키텍처, KV Cache, 언어 모델링 목적 함수를 그대로 유지한다는 장점이 있다. 1B 파라미터 모델을 400B 토큰까지 학습시킨 결과, 수학, 코딩, 지시 이행(instruction-tuned) 성능이 크게 향상되었다.

특히 Full-bandwidth Transformer는 기존 모델보다 약 1.5배 더 많은 토큰을 학습한 것과 맞먹는 성능을 보여주면서도, 디코딩 시 발생하는 오버헤드는 매우 적다. 또한, 동일하거나 더 높은 정확도를 유지하면서도 더 짧은 추론 과정(reasoning traces)을 생성할 수 있음을 입증했다.