Delta Attention Residuals 기술 공개

Delta Attention Residuals는 기존 잔차 연결(residual connections)을 업그레이드하여, 어떤 과거 레이어로부터 경로를 지정할지 학습하는 기술이다. 기존 방식은 누적 은닉 상태(cumulative hidden states)를 사용해 데이터 중복성이 높고, 이로 인해 깊은 레이어에서 라우팅 붕괴(routing collapse)가 발생하는 한계가 있었다.

이 기술은 각 서브레이어의 실제 기여분인 **델타($v_i = h_{i+1} - h_i$)**를 경로로 활용한다.

주요 성과:

• 라우팅 정밀도 향상: 크로스 레이어 라우팅의 최대 가중치를 약 0.2에서 0.6으로 높여 라우팅 붕괴를 해결했다.
• PPL 개선: 7.6B 모델 기준 검증 PPL을 8.2% 감소시켰으며, 220M에서 7.6B 규모까지 일관된 성능 향상을 보였다.
• 사전 학습 모델 적용 가능: 제로 초기화(zero-init) 라우팅 방식을 통해 기존 사전 학습된 모델(예: Qwen3-0.6B)을 미세 조정으로 손쉽게 변환할 수 있다.
• 최소한의 오버헤드: 파라미터 증가량은 0.01% 미만이며, 메모리 사용량은 약 3% 증가에 그쳐 매우 가볍고 빠르다.