DeepSeek V4 KV-cache 압축, 특정 토큰 위상에서 결정론적 검색…

ByteDance Seed 논문(arXiv 2609.36322)은 DeepSeek V4의 청크 기반 KV-cache 압축에서 '위상 민감성(phase sensitivity)'을 확인함. 이는 토큰이 압축 윈도우 시작점 대비 가진 오프셋에 따라 검색 정확도가 진동하는 현상임.
코드 완성 테스트에서 프롬프트 길이가 4로 나눈 나머지가 0 또는 1일 때 V4-Flash-Base는 71.3% 확률로 오답을 생성함. 반면 나머지가 2 또는 3일 때는 91.5% 확률로 정답을 생성함.
128K needle-in-a-haystack 테스트에서 베이스 모델의 정확도는 위상(phase)에 따라 40.2%p 차이로 변동함. 포스트 트레이닝 이후에는 Flash-0731에서 19.1%p, Pro-0813에서 14.8%p, V4.1-Flash-0910에서 6.1%p로 격차가 축소됨.
체크포인트 드리프트, 양자화 차이(fp4 vs fp8), 추론 예산 배분 등 서빙 측 변수가 모델 열화 인식을 유발하며, 위상 민감성은 결정론적 승수(deterministic multiplier)로 작용함.
권장 완화 전략으로는 특정 모델 ID 고정, 핵심 제약 조건을 프롬프트 끝에 배치, 등호 연속 사용 등 장식적 포맷팅 회피를 포함함.

DeepSeek V4 KV-cache 압축, 특정 토큰 위상에서 결정론적 검색 실패 유발