Kvark Sparkle 1.0, Qwen3.8-27B 지연시간 절반으로 줄여

Kvark Sparkle 1.0: a Qwen3.8-27B fine-tune that answers in half the time, MTP still works, Apache 2.0

·2026.10.30 00:50

핵심 내용

Kvark Sparkle 1.0이 Apache 2.0 라이선스로 공개되며 추론 토큰을 60-67% 절감했다

Qwen3.8-27B 파인튜닝 모델 Kvark Sparkle 1.0은 베이스 모델 대비 중간값 추론 토큰을 60-67% 절감함
vLLM 0.30과 FP8을 적용한 단일 H200 환경에서 중간값 벽시계 시간이 28.1초에서 13.7초로 단축되고, 디코딩 속도는 165 vs 171 tok/s로 일관성 유지함
정확도는 95% 부트스트랩 신뢰구간 내에서 베이스 모델과 일치하며, GPQA Diamond 89.3%, AIME 93.3% 기록함
최단 정답 트레이스 기반 SFT와 정확도 보상 GSPO를 활용해 학습하고, 프로프라이어티 모델 출력 사용 회피함
MTP 헤드 기능 보존을 통해 3개 스펙ulative 토큰 사용 가능함
Hugging Face Egzakta 조직에서 BF16, FP8, GGUF 포맷으로 공개함

이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.

AI 처리 방식을 확인하거나, 요약 오류와 출처 표기 문제, 삭제 요청을 문의 · 건의로 알려주세요.