Delta Attention Residuals 공개

기존 잔차 연결(residual connections)을 업그레이드하여 모델의 라우팅 효율을 극대화한 Delta Attention Residuals가 공개되었습니다. 이 기술은 이전 레이어 중 어떤 것을 라우팅할지 학습하며, 기존 방식의 고질적인 문제인 '라우팅 붕괴(routing collapse)' 현상을 해결합니다.

주요 특징 및 성과는 다음과 같습니다:

• 델타(Delta) 기반 라우팅: 누적된 은닉 상태 대신 각 서브레이어의 기여분인 **델타 값($v_i = h_{i+1} - h_i$)**을 라우팅합니다. 이를 통해 최대 어텐션 가중치를 약 0.2에서 0.6으로 높여 더욱 날카로운 크로스 레이어 라우팅을 구현했습니다.
• 성능 및 안정성: 7.6B 모델 기준 검증 PPL을 8.2% 감소시켰으며, 220M에서 7.6B 규모까지 일관된 성능 향상을 입증했습니다. 특히 기존의 Attention Residuals 방식이 대규모 모델에서 성능이 저하되는 문제를 극복했습니다.
• 사전 학습 모델 적용: Zero-init 라우팅 방식을 채택하여, Qwen3-0.6B와 같은 기존 모델을 미세 조정(fine-tuning)만으로 손쉽게 업그레이드할 수 있습니다.
• 매우 낮은 오버헤드: 파라미터 증가량은 0.01% 미만이며, 메모리 사용량은 약 3% 증가에 불과하여 매우 가볍고 빠릅니다.