xHC: Residual Stream 확장 기술 공개

Transformer 모델의 Residual Stream을 N개의 병렬 스트림으로 확장하여 모델의 너비와 깊이를 넘어선 새로운 메모리 스케일링 축을 제공하는 Hyper-Connections (HC) 기술의 한계를 극복한 xHC가 발표되었습니다.

기존 HC 방식은 스트림 수가 4개를 초과할 경우 성능 이득이 감소하고 연산 비용이 급증하는 문제가 있었습니다. xHC는 이를 해결하기 위해 두 가지 핵심 메커니즘을 도입했습니다.

• Temporal Feature Augmentation: 더 풍부한 정보를 스트림에 기록(Write-back)할 수 있도록 지원합니다.
• Sparse Residual-Stream Architecture: N=16개의 스트림 중 k=4개만 업데이트하는 희소 구조를 사용하여 연산 효율을 높이면서도 전체 상태에 대한 밀집 접근(Dense access)을 유지합니다.

18B 및 28B MoE 모델 실험 결과, xHC는 18B MoE 모델에서 기존 mHC 대비 평균 다운스트림 점수를 4.0점 향상시켰으며, 연산량(FLOPs) 증가도 미미했습니다. 또한, 메모리 트래픽 문제를 해결하기 위한 xHC-Flash를 통해 메모리 트래픽을 기존 대비 약 45% 감소(73.5C → 40C)시켜 대규모 모델 사전 학습(Pre-training)에서의 실용성을 확보했습니다.