우리가 UEC에 합류하는 이유: 멀티칩 LLM 추론

LLM과 멀티모달 모델의 크기가 급격히 커지면서 단일 칩의 메모리 용량을 초과하는 사례가 늘고 있다. 이에 따라 AI 추론의 확장을 위해서는 멀티칩(multi-chip) 솔루션이 필수적이다.

멀티칩 배포에는 데이터 병렬성, 텐서 병렬성, MoE 모델을 위한 전문가 병렬성 등 다양한 전략이 사용된다. FuriosaAI의 2세대 칩인 **RNGD(Renegade)**는 텐서를 행렬로 분해할 필요가 없는 TCP(Tensor Contraction Processor) 아키텍처를 통해 이러한 다양한 병렬성을 효율적으로 활용한다.

**Ultra Ethernet Consortium(UEC)**은 고대역폭, 저지연 칩 간 통신을 위한 개방형 표준을 개발한다. UEC는 기존 PCIe보다 높은 대역폭을 제공하며, 벤더 중립적인 접근 방식을 통해 다양한 가속기를 혼합 사용하거나 대규모 멀티랙 구성으로 쉽게 확장할 수 있는 이점을 제공한다.