KV-cache 압축 기술 오픈소스 재현

장기 문맥(Long-context) 추론 시 메모리 효율을 높이기 위한 KV-cache 압축 기술인 Cartridges와 STILL의 단일 GPU 재현 구현체가 오픈소스로 공개되었다. 이번 구현은 논문의 이론적 내용을 넘어, 연구자와 엔지니어가 직접 코드를 검토하고 벤치마크를 실행할 수 있도록 가독성 높은 구현체와 비교 코드를 제공하는 데 중점을 두었다.

주요 구현 내용은 다음과 같다:

• Cartridges: 특정 코퍼스(Corpus)에 최적화된 압축 KV-cache 구현.
• STILL: 재사용 가능한 신경망 기반 KV-cache 압축(Neural KV-cache compaction) 구현.

특히 STILL 저장소에서는 전체 문맥 추론(Full-context inference), 텍스트 절단(Truncation), 그리고 Cartridges 방식과의 성능 비교를 포함하고 있어, KV-cache 재사용 및 메모리 압축에 따른 실질적인 시스템 트레이드오프를 분석할 수 있다.