RLT: 토큰 길이에 따라 연산 깊이 증가하는 순환 디코더 구조 제안

Yifan Zhang 등이 제안한 RLT(Recurrent Looped Transformer)는 기존 Transformer의 고정된 계산 깊이 한계를 극복하기 위해, 생성되는 토큰 수에 비례해 순환 경로가 길어지는 디코더 구조를 도입했다. 인코더는 병렬 처리로 전역 메모리를 생성하고, 디코더는 직전 은닉 상태를 게이트 합산하여 순차적으로 처리한다.

예비 실험 결과, 8층 모델에서 모듈러 산술(괄호 제외) 태스크의 정확도가 베이스라인 20.57%에서 95.44%로 크게 향상되었다. 그러나 길이 외삽 실험에서는 성능이 급락하는 현상이 관측되었으며, 하드웨어 효율성이나 RL 성능에 대한 검증은 아직 이루어지지 않았다.