DeepSeek-V4 논문 읽기 요약 - 노정석

DeepSeek-V4는 V3(600B) 대비 규모를 1.6T로 키우며 아키텍처와 인프라 측면에서 대대적인 혁신을 이루었다.

핵심 아키텍처 변화

• Sparse Attention 도입: 슬라이딩 윈도우, 압축된 풀 어텐션, Lightning Indexer를 활용한 Compressed Sparse Attention을 결합하여 효율성을 극대화했다.
• mHC(Manifold-Constrained Hyper-Connections): 잔차 연결의 제약을 완화하기 위해 매니폴드 위에서 안정화된 하이퍼 커넥션을 적용했다.
• Muon 옵티마이저: 학습 속도와 데이터 효율을 높이기 위해 Adam 대신 채택했다.
• MLA 제거: 기존의 상징이었던 MLA를 버리고 단순한 Multi-Query Attention으로 전환했다.

주요 장점 및 성과

• 롱컨텍스트 비용 절감: 모델 규모는 2.5~3배 커졌으나, 토큰 연산 컴퓨트는 약 27%, KV 캐시 메모리는 10% 수준으로 대폭 줄였다.
• 사전학습 단계의 통합 설계: 후처리가 아닌 사전학습 단계부터 롱컨텍스트 학습과 Sparse Attention, MXFP4(4비트) 양자화를 녹여냈다.
• 인프라 최적화: MoE 통신/연산 오버랩, 메가커널, TileLang 기여 등을 통해 하드웨어 효율을 극한으로 끌어올렸다.

한계 및 과제

• 학습 불안정성: MoE 게이팅 수정 및 Anticipatory Routing 등 복잡한 장치를 동원해야 할 정도로 학습 과정에서 많은 시행착오를 겪었다.
• 재현 난이도: Sparse Attention을 처음부터 학습시키는 과정이 매우 어려워 타 팀의 추종이 쉽지 않을 전망이다.
• 데이터 및 포스트트레이닝: 데이터 구성에 대한 구체적 설명이 부족하며, 사전학습에 비해 포스트트레이닝 단계의 개선 여지가 남아 있다.

이번 공개는 중국 프론티어 랩들이 사전학습 영역에서 미국 빅테크와 대등하거나 일부 앞서기 시작했음을 시사하며, 향후 포스트트레이닝이 차세대 모델의 핵심 승부처가 될 것임을 보여준다.