Recurrent Looped Transformer 공개: 시퀀스 길이에 따라 깊이가 확장되는 아키텍처

**Recurrent Looped Transformer(RLT)**는 인과적 인코더와 반복적 디코더를 결합한 새로운 아키텍처로, 최종 은닉 상태와 레이어별 슬라이딩 윈도우 어텐션(SWA) 캐시를 모든 프롬프트 및 응답 토큰에 걸쳐 전달한다. 디코더는 시퀀스가 길어질수록 반복 경로의 깊이가 선형적으로 증가하여 무한한 시간적 경로를 제공하지만, 이는 시퀀스 내 확장 가능한 경로를 의미할 뿐 단일 토큰 처리 시의 연산량 증가를 뜻하지는 않는다.

RLT는 모델-하드웨어 공동 설계와 모델-RL 알고리즘 공동 설계를 특징으로 한다. 인코더는 알려진 토큰을 병렬로 처리하여 전역 키-값 메모리를 구축하고, 디코더는 독립적인 업데이트를 수행하며 메모리를 재사용한다. 특히 RL 학습 시 현재 파라미터로 전체 히스토리를 재구성하여 샘플링과 리플레이 간의 구조적 불일치를 제거한다.

구체적인 구현에서는 인코더 48층과 디코더 48층을 사용하며, 각 토큰은 96개의 논리적 블록을 실행한다. t개의 토큰 이후 시간적 경로는 48t개의 디코더 블록을 거친다. 다만, 실제 추론 성능 향상, 하드웨어 효율성, RL 스케일링 등은 실증을 통해 검증되어야 할 과제다.