AI BriefingQwen 3.8, GB300서 288k 토큰/s 달성
Qwen 3.8 2.4T at 288k tokens/s on Nvidia GB300 NVL72
·2026.08.17 02:57
핵심 내용
NVIDIA GB300 NVL72 환경에서 Qwen 3.8 2.4T 모델이 초당 288,000 토큰의 처리량을 달성했다.
자세히 보기
NVIDIA는 GB300 NVL72 시스템에서 Qwen 3.8 2.4T 모델을 구동했을 때의 성능 지표를 공개했다.
주요 성능 지표는 다음과 같다:
- GPU당 4,000개 이상의 토큰/초 처리량 달성 (총 72개 GPU 기준 초당 288,000 토큰)
- 사용자당 350 토큰/초 이상의 처리량 제공
- FP8 정밀도를 사용하여 별도의 모델 튜닝 없이도 높은 성능을 구현
향후 NVFP4 정밀도를 포함한 추가 최적화를 통해 성능이 더욱 향상될 것으로 기대된다.
이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.
