5090서 77tps

RTX 5090에서 Qwen3.5-27B-Text-NVFP4-MTP를 vLLM 0.19로 서빙해 77 tps를 기록했다.

• 컨텍스트 창: 218,592 토큰까지 동작
• 동시 세션: 2개까지 가능, 다만 세션당 속도는 감소
• 문제점: vLLM 0.19에서는 256k 풀 컨텍스트가 동작하지 않음
• 대안: vLLM 0.17에서는 가이드대로 동작하지만 최적화 부족으로 tps가 떨어짐

재현용 설정도 함께 제시했다.

• --gpu-memory-utilization 0.93
• --attention-backend flashinfer
• --performance-mode interactivity
• --kv-cache-dtype fp8_e4m3
• --max-num-seqs 2
• --quantization modelopt
• --enable-prefix-caching
• --tool-call-parser qwen3_coder

또한 vLLM의 KV size 계산 수정 PR가 핵심이라고 언급했고, 모델 카드의 가이드는 유용하지만 테스트한 다른 모델은 성능이 기대만큼 좋지 않아 추천하지 않는다고 밝혔다.