NInfer 포크 공개: RTX 5090에서 NVFP4 KV 캐시 및 YARN으로 555k 컨텍스트 지원

NInfer의 한계를 극복하기 위해 개발된 포크가 NVFP4 KV 캐시와 YARN 컨텍스트 확장 기술을 적용하여 RTX 5090 환경에서 555k 토큰의 컨텍스트 윈도우를 지원한다.

NVFP4 KV 캐시 구현

기존 방식과 달리 Q와 K를 NVFP4로 양자화하고 V는 BF16으로 디양자화하는 커스텀 MMA 커널을 사용한다. Hadamard 회전을 적용해 이상치(outlier)를 억제하며, 디코딩 중 K/V를 인플레이스(in-place)로 양자화하는 Fused append 기법을 도입했다. 이를 통해 VRAM 사용량을 45% 감소시켰으며, LongBench와 AIME 벤치마크에서 품질 저하 없이 성능을 유지한다.

YARN을 통한 컨텍스트 확장

Qwen3.8-27B 모델의 RoPE 설정에 맞춰 선형 스케일링을 적용해 네이티브 262k 토큰을 555k(비전 포함) 또는 600k(텍스트 전용)까지 확장했다. 600k 토큰 출력 시에도 일관된 품질을 검증했으며, 96GB 이상 GPU에서는 8M 토큰까지 확장 가능할 것으로 전망된다.

호스트 KV 캐시 안전망

기존의 LRU 기반 HostKvProvider를 대체하기 위해 고정된 호스트 아레나와 산개-수집(scatter-gather) 할당을 사용하는 HostKVSafetyNet을 도입했다. 이는 동시 복원을 안전하게 처리하고 아레나 압축을 통해 메모리 효율성을 높인다.