듀얼GX10 벤치

듀얼 Asus GX10(dgx spark) 환경에서 MiniMax-M2.7-AWQ-4bit를 무리 없이 실행했다.

• 각 GX10의 소비전력은 추론 시 약 100W 수준
• open code와 hermes agent에서 오류 없이 동작
• 체감상 time to first token은 길지만, 저소음·저발열 구성이라는 점이 장점

llama benchy --depth 0 4096 8192 16384 32768 --latency-mode generation 기준 성능은 다음과 같다.

• pp2048: 3452.05 t/s, ttfr 626.82 ms
• tg32: 38.84 t/s
• pp2048 @ d4096: 2848.85 t/s, ttfr 2022.61 ms
• pp2048 @ d8192: 2579.85 t/s, ttfr 3523.69 ms
• pp2048 @ d16384: 2411.34 t/s, ttfr 6791.62 ms
• pp2048 @ d32768: 1988.05 t/s, ttfr 15512.61 ms

컨텍스트가 길어질수록 프롬프트 처리 속도는 떨어지지만, 생성 속도는 약 37~39 t/s 범위로 유지됐다.