DeepSeek V4-Flash 내부분석
I ran DeepSeek V4-Flash internals on 8x H100s — here’s what mHC actually does
8x H100 실험에서 DeepSeek V4-Flash의 mHC가 3층 이후 중복되고 BOS에만 크기를 몰아주는 패턴이 확인됐다.
DeepSeek V4-Flash의 핵심 변경점인 mHC는 standard residual connections를 대체하는 구조다. 8x H100 SXM(8x80GB)에서 이 모델의 FP8 변환본을 사용해 hidden state, expert routing, SVD 구조를 측정했다. 변환본은 약 310GB였고, tensor parallel로 구성했다.
모델 설정은 총 파라미터 284B, 활성 13B, 43층, 256 experts, 토큰당 6 experts, hc_mult=4였다. 실험은 총 7개 프롬프트(짧은 5개, 긴 2개: 로마제국 위키 331토큰, attention transformer 코드 641토큰)로 진행됐으며, Tilelang fused kernel 때문에 sparse attention score는 직접 보지 못했다.
핵심 관찰은 다음과 같다.
- BOS 토큰 magnitude가 layer 0의 28에서 layer 42의 69,632까지 1,800배 커졌다.
- 비-BOS 토큰은 약 70배 증가해 상대적으로 정상 범주였고, 폭증은 BOS에만 집중됐다.
- mHC의 hyper-connection 복제는 3층 이후 사실상 중복된 것으로 보였다.
결국 V4-Flash는 극단적인 attention sink와 결정적 차원 구조를 보였고, mHC는 표현력 확장보다 BOS의 특정 차원으로 크기를 채널링하는 장치에 가까워 보였다. 나머지 토큰은 일반적인 transformer처럼 동작했다.
이 요약은 원문 이해를 돕기 위한 큐레이션입니다. 저작권은 원저작자에게 있으며, 정확한 내용과 맥락은 원문을 확인하세요.
요약 오류, 출처 표기 문제, 삭제 요청은 문의 · 건의로 알려주세요.