AI BriefingKvark Sparkle 1.0, GPU 시간당 정답률 Qwen3.8-27B 대비 1.5~1.6배
Does "thinks shorter" survive concurrency? Kvark Sparkle 1.0 vs Qwen3.8-27B at 16-128 users, MTP on both: 1.5-1.6x more correct answers per GPU-hour
·2026.11.05 01:04
핵심 내용
H200 GPU 동시성 테스트에서 128명 접속 시 시간당 985개 정답을 기록해 베이스 모델 대비 효율 우위를 확인했다
자세히 보기
- Kvark Sparkle 1.0은 동시 접속 16~128 구간에서 Qwen3.8-27B 대비 GPU 시간당 정답률이 1.5~1.6배 높으며, GPU 포화 상태에서도 이 우위가 유지됨
- 효율성 향상은 답변당 생성 토큰이 약 35% 적기 때문이며, 두 모델의 총 처리량(tok/s)은 거의 동일함
- 모든 부하 수준에서 Sparkle 1.0의 중앙값 지연 시간은 51~59% 감소했으나, 어려운 질문이 32k 토큰 한계에 도달하는 꼬리 현상으로 p95 지연 시간은 5~16%만 감소함
- 모든 동시 접속 수준을 합산한 정확도는 Sparkle 1.0이 3.0%p 높음(95% CI [+0.6, +5.6])으로, 이는 베이스 모델이 32k 한계에서 더 많이 잘림(truncation)을 겪기 때문임
- 테스트는 vLLM 0.32, FP8 가중치, MTP 추측적 디코딩을 사용한 단일 H200 노드에서 수행되었으며, 제공된 Apache 2.0 라이선스 가중치를 통해 결과 재현 가능함
이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.