DeepSeek-V4.1-Flash: 552B 파라미터, 토큰당 890바이트로 KV 캐시 압축

552B 백본 파라미터를 가진 멀티모달 MoE 모델이 1M 토큰 컨텍스트를 지원한다. 텍스트와 이미지를 동시에 입력받아 텍스트를 생성하며, 사전 학습에 45T 토큰을 사용했다.

Causal Encoder-Decoder 구조와 CSA2 기법을 적용해 전역 KV 캐시를 토큰당 890바이트로 줄였다. 이는 이전 세대 대비 약 4분의 1 수준으로, 입력이 많은 에이전트 작업에서 비용 효율을 높인다.

추론 시 활성화되는 파라미터는 프리필 단계 8B, 디코드 단계 16B에 불과하다. 1부터 100까지 조절 가능한 추론 강도 설정을 통해 정확도와 연산 비용 사이의 균형을 직접 제어할 수 있다.