#throughput

#throughput와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.

vLLM v0.33.0 스케줄러 수정으로 DeepSeek DSpark 처리량이 2.47배 향상했다

·1·2026.11.09 03시

AI Gateway가 모델별로 낮은 지연 시간과 높은 처리량을 제공하는 통합 Fast Mode를 베타 버전으로 출시했다.

·2·2026.07.30 03시

AI Gateway가 제공자를 비용, TTFT, TPS 기준으로 정렬하는 sort 옵션을 추가했다.

·4·2026.05.15 09시

GPU별 KV 캐시 지역성이 LLM 서빙 비용과 TTFT를 좌우했다.

·1·2026.05.01 09시

32개 AMD MI50 2노드에서 Kimi K2.6 int4가 출력 9.7 tok/s, 입력 263 tok/s를 기록했다.

·2026.05.01 07시

Qwen3.6-27B-INT4가 1x RTX 5090에서 256k 컨텍스트와 105~108 tps를 기록했다.

·1·2026.04.26 17시

RTX 5090 1장과 vLLM 0.19.1rc1로 Qwen3.6-27B를 218k 컨텍스트에서 초당 약 80토큰으로 돌렸다고 밝혔다.

·1·2026.04.25 19시

llama.cpp ngram-mod speculative decoding으로 Qwen-3.6-27B 속도가 136.75 t/s까지 상승.

·2·2026.04.23 17시

Kimi Linear로 cross-datacenter Prefill/Decode 분리를 현실화해 비용을 낮췄다.

·2026.04.19 01시

DGX Spark에서 Qwen3.6은 Qwen3.5와 비슷하지만 MTP로 처리량이 크게 늘었다.

·2026.04.18 21시

RTX 5090 32GB에서 Qwen 3.6 35B A3B가 187t/s를 기록했다.

·1·2026.04.17 08시

확산 LLM이 AR 수준 품질과 병렬 생성 속도를 함께 달성했다.

·1·2026.04.16 04시

Vercel AI Gateway가 수백 개의 모델에 대한 실시간 처리량과 지연 시간 지표를 제공한다.

·1·2026.01.26 22시