Telperion, Qwen3.8-27B latent attention 변형 공개

Telperion이 Qwen3.8-27B의 latent attention 변형인 Qwen3.8-27B-MLA와 Qwen3.8-27B-GLA-g2를 공개했다. 이 모델들은 KV cache를 4배 압축하여, 소비자용 하드웨어에서는 최대 컨텍스트 길이를, 서버 하드웨어에서는 동시 처리량을 약 4배까지 높일 수 있다.

성능 및 효율성

Qwen3.8-27B-MLA는 기본 모델 대비 SWE 성능에서 통계적으로 유의미한 +6.58% 향상을 기록했으며, 추론 토큰 사용량을 20% 이상 줄였다. Qwen3.8-27B-GLA-g2는 2개 그룹을 사용해 4배 KV 압축을 유지하며, 멀티 GPU 환경에서 MLA 서빙 시 발생하는 메모리 문제를 해결했다.

| 모델 | SWE-bench Verified (n > 1500) | 평균 출력 토큰 | KV 압축 (TP=1, TP=2) | | :--- | :--- | :--- | :--- | | Qwen3.8-27B | 39.5% | — | — | | Qwen3.8-27B-MLA | 42.1% | 0.88x | 4.00x, 2.28x | | Qwen3.8-27B-GLA-g2 | 39.4% | 0.86x | 4.00x, 4.00x |

양자화 및 호환성

Telperion은 동일 크기의 .gguf 양자화보다 높은 충실도를 제공하는 학습 후 양자화 레시피를 제공한다. 모델은 설치가 간편한 vLLM 플러그인을 통해 지원되며, RTX PRO 6000s, H100s, 2x RTX 5060Ti 16GB에서 검증되었다.

| 양자화 | 메모리 (MTP head/vision 포함) | Top-1 불일치율 (낮을수록 좋음) | | :--- | :--- | :--- | | BF16 | 55.7GB | — | | FP8 | 31.5GB | 0.06% | | INT4 | 22.9GB | 0.17% | | EXL3-4.0bwp* | 17.2GB | 0.46% |

*EXL3은 커스텀 vLLM 플러그인이 필요하다.

향후 로드맵

기반 기법은 재학습이 필요 없으며, grouped query attention 또는 유사 변형을 사용하는 모델과 호환된다. Telperion은 이 기법을 조만간 오픈소스로 공개할 예정이며, 전체 벤치마크 스위트가 포함된 개선된 버전 2와 Qwen4-27B 출시 시 sparse latent attention 변형을 릴리스할 계획이다.