RTX 5090서 100 tps

Qwen3.6-27B-INT4를 1x RTX 5090에서 vllm 0.19로 구동해 105~108 tps를 기록했다. 네이티브 256k context를 유지한 상태에서 나온 수치다.

핵심은 경량화된 Lorbus/Qwen3.6-27B-int4-AutoRound 양자화 모델과 MTP 기반 speculative decoding이다. 작성자는 모델 크기가 작아져 별도 TQ 없이도 최대 컨텍스트 길이를 그대로 활용할 수 있다고 설명했다.

실행 설정은 다음과 같다.

• --max-model-len 262144
• --attention-backend flashinfer
• --kv-cache-dtype fp8_e4m3
• --max-num-seqs 2
• --enable-prefix-caching
• --enable-chunked-prefill
• --speculative-config '{"method":"mtp","num_speculative_tokens":3}'

작성자는 이 구성이 전날보다 더 빠른 결과를 냈고, Qwen3.6-27B 계열의 로컬 추론 효율이 계속 개선되고 있다고 밝혔다.