DeepSeek V4 정식 논문 공개

DeepSeek V4의 정식 논문이 공개되며, 58쪽 프리뷰보다 더 구체적인 학습·서빙 설계가 드러났다.

• FP4 QAT를 후기 학습 단계에 직접 적용해 MoE expert weights를 FP4로 양자화했고, CSA indexer의 QK 경로에도 FP4 activations를 사용했다.
• QK selector는 2배 속도 향상과 99.7% recall을 유지했고, 추론도 FP4 weights 위에서 바로 수행된다고 설명한다.
• 1M context 기준 효율은 V4-Pro가 FLOPs 27%, KV cache **10%**로, V4-Flash는 FLOPs 10%, KV cache **7%**로 제시됐다.
• 대규모 MoE의 손실 급등(loss spike) 문제에는 anticipatory routing과 SwiGLU clamping 두 장치를 넣었다. 전자는 router 업데이트를 일부 지연해 이상 신호의 피드백 루프를 끊고, 후자는 linear/gate 경로 출력을 제한해 발산을 줄인다. anticipatory routing의 오버헤드는 약 **20%**지만 손실 급등 때만 켜진다.
• 보상 학습은 별도 reward model 대신 같은 모델이 생성과 평가를 함께 맡는 generative reward model로 구성해 수작업 라벨링을 줄이고, reasoning이 포함된 평가를 학습한다.
• 공개된 인간 평가에서는 중국어 글쓰기 62.7% 승률, writing quality 77.5%, 화이트칼라 업무(white-collar tasks)에서는 V4-Pro-Max가 63% non-loss rate로 Opus 4.6 Max를 앞섰다.
• coding agent eval에서는 **52%**가 기본 코드 모델로 쓸 수 있다고 답했고, **39%**는 긍정적, 9% 미만은 부정적으로 응답했다.