2x3090 전력제한과 TG/s
Power-limit vs TG/s for 2x3090
·2026.04.28 13:48
2x3090에서 Qwen3.6-27B의 전력 제한 250W가 효율 균형점으로 나타났다.
2장의 RTX 3090으로 Qwen3.6-27B를 서빙하며 전력 제한과 TG/s의 관계를 비교했다.
- 250W에서 성능과 전력 효율의 균형이 가장 좋았다고 밝혔다.
- 동시 요청 1개 조건에서는 275W에서 더 높은 TG/s가 나왔다.
- 실험에는 vLLM 서버 설정과 벤치마크 명령이 함께 제시돼 재현 가능성을 높였다.
- 설정에는 tensor parallel size 2, prefix caching, speculative decoding, fp8 KV cache, chunked prefill 등이 포함됐다.
전력 한도에 따라 로컬 LLM 추론 처리량이 달라질 수 있으며, 2x3090 환경에서 효율 최적점을 찾는 데 참고할 만한 수치다.
이 요약은 원문 이해를 돕기 위한 큐레이션입니다. 저작권은 원저작자에게 있으며, 정확한 내용과 맥락은 원문을 확인하세요.
요약 오류, 출처 표기 문제, 삭제 요청은 문의 · 건의로 알려주세요.