AI Briefing2x3090 전력제한과 TG/s
Power-limit vs TG/s for 2x3090
·2026.04.28 13:48
핵심 내용
2x3090에서 Qwen3.6-27B의 전력 제한 250W가 효율 균형점으로 나타났다.
자세히 보기
2장의 RTX 3090으로 Qwen3.6-27B를 서빙하며 전력 제한과 TG/s의 관계를 비교했다.
- 250W에서 성능과 전력 효율의 균형이 가장 좋았다고 밝혔다.
- 동시 요청 1개 조건에서는 275W에서 더 높은 TG/s가 나왔다.
- 실험에는 vLLM 서버 설정과 벤치마크 명령이 함께 제시돼 재현 가능성을 높였다.
- 설정에는 tensor parallel size 2, prefix caching, speculative decoding, fp8 KV cache, chunked prefill 등이 포함됐다.
전력 한도에 따라 로컬 LLM 추론 처리량이 달라질 수 있으며, 2x3090 환경에서 효율 최적점을 찾는 데 참고할 만한 수치다.
이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.
