Hot Chips 2024 리뷰: RNGD 글로벌 공개

FuriosaAI가 Hot Chips 2024에서 데이터 센터용 고성능·고효율 LLM 및 멀티모달 모델 추론을 위한 새로운 AI 가속기 RNGD(Renegade)를 글로벌 공개했다. 기술 전문가들이 모이는 Hot Chips 무대에서 제품의 설계, 사양, 소프트웨어 디테일 및 벤치마크를 심도 있게 선보였다.

현장에서는 Llama 3.1 8B 및 70B 모델을 구동하는 RNGD의 라이브 데모가 진행되었으며, Supermicro 서버에 4개의 RNGD가 장착된 실물 하드웨어도 전시되었다.

엔지니어들의 주요 질문과 기술적 특징은 다음과 같다:

• FlashAttention 없이도 효율적인 연산이 가능한 구조
• 모델 전체를 단일 융합 연산(Fused operation)으로 처리하는 자체 범용 컴파일러
• 텐서 수축(Tensor contraction)을 위해 설계된 아키텍처

이번 발표는 EE Times 메인 페이지를 비롯해 Semiconductor Engineering, IEEE Spectrum 등 주요 반도체 전문 매체들의 집중적인 조명을 받았다.