Cerebras, disaggregated inference로 메가와트당 처리량 5배 달성

·2026.11.18 09:56

핵심 내용

Cerebras가 disaggregated inference로 메가와트당 처리량 5배를 달성했다

1 / 2

자세히 보기

  • Cerebras가 GPU를 프롬프트 처리(prefill)에, Cerebras Wafer Scale Engine(WSE)을 응답 생성(decode)에 각각 활용하는 disaggregated inference를 프로덕션 환경에 배포함
  • CS-3 단독 구성 대비 메가와트당 처리량이 5배 증가했으며, 토큰 생성 속도는 유지됨
  • Cerebras의 온칩 SRAM 용량과 메모리 대역폭이 일반 GB300 GPU보다 각각 350배, 5,400배 높아 메모리 대역폭이 병목인 decode 단계 최적화에 활용됨
  • Amazon Web Services, Fireworks AI, Gimlet Labs, General Compute 등 얼리 액세스 파트너들이 해당 솔루션에 접근 가능함
  • 2027년 말까지 Inference Cloud 및 파트너 데이터센터에 수백 메가와트 규모로 시스템 배포 계획
  • 인프라 파트너는 end-to-end 소프트웨어 스택 또는 decode 전용 SDK를 통해 도입 가능하며, prefill 단계에는 vLLM이나 SGLang 같은 오픈소스 엔진 사용 가능함

이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.

AI 처리 방식을 확인하거나, 요약 오류와 출처 표기 문제, 삭제 요청을 문의 · 건의로 알려주세요.