AI BriefingCerebras, WSE-3T 웨이퍼 59개로 3T 파라미터 모델 Kimi K3 배포
·2026.10.23 09:00
핵심 내용
Cerebras가 59개 웨이퍼에 Kimi K3를 배포해 초당 1000-2000+ 토큰 처리를 달성했다
자세히 보기
- Cerebras가 Kimi K3(약 3T 파라미터)와 같은 조 단위 파라미터 모델을 여러 WSE-3T 웨이퍼에 배포하여 초당 1000-2000+ 토큰 처리 성능을 달성함
- Kimi K3는 총 59개의 웨이퍼가 필요하며, 69개의 선형 어텐션 레이어는 웨이퍼당 2개씩 배치하여 35개, dense 레이어는 웨이퍼당 1개씩 배치하여 24개를 사용함. 4-bit 가중치 양자화와 8-bit KV 캐시를 적용함
- 각 44 GB 웨이퍼가 16 GB 전체 레이어를 수용하므로 모델 가중치는 개별 웨이퍼에 정적으로 유지됨. 웨이퍼 간에는 RDMA over Ethernet을 통해 활성화 값만 이동하며, 홉당 약 2마이크로초의 지연이 발생함
- 파이프라인의 각 단계에 서로 다른 요청을 배치하여 파이프라인을 가득 채우는 방식으로 동시 요청을 처리함. 지연 시간과 처리량을 균형 있게 조절하기 위해 마이크로 배치(micro-batches)를 활용함
- 동시 요청 처리 용량은 dense 레이어 웨이퍼에서 가중치를 제외한 나머지 온칩 SRAM 용량으로 제한됨. 해당 공간에 활성 요청의 KV 캐시가 저장됨
이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.
