AI BriefingKimi K2.6, MI50 32개 9.7tok/s
Final Monster: 32x AMD MI50 32GB at 9.7 t/s (TG) & 264 t/s (PP) with Kimi K2.6
·2026.05.01 07:24
핵심 내용
32개 AMD MI50 2노드에서 Kimi K2.6 int4가 출력 9.7 tok/s, 입력 263 tok/s를 기록했다.
자세히 보기
32개 AMD MI50 32GB를 2노드로 묶어 moonshotai/Kimi-K2.6 int4를 실행했고, 출력 136토큰 기준 9.7 tok/s, 입력 14,564토큰 기준 263 tok/s를 기록했다.
- 실행 스택: vllm-gfx906-mobydick
- 구성: 16 GPU x 2노드, 10G 이더넷 연결
- 전력 소모: 대기 약 640W, 추론 피크 약 4,800W
- 관련 코드:
ai-infos/vllm-gfx906-mobydick - 서버 스크립트: 공식 vLLM 예제를 바탕으로 한
openai_server_kimi.py수정본
이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.
