Hot Chips 2024에서 공개된 FuriosaAI의 RNGD

FuriosaAI가 Hot Chips 2024에서 데이터 센터의 고성능 LLM 및 멀티모달 모델 추론을 위해 설계된 신규 AI 가속기 RNGD(Renegade)를 공개했다.

RNGD는 180W TDP, 독자적인 칩 아키텍처, 그리고 HBM3와 같은 첨단 메모리 기술을 결합했다. 이를 통해 기존 GPU와 AI 칩들이 어려움을 겪어온 고성능, 전력 효율성, 프로그래밍 가능성이라는 세 가지 핵심 요소를 동시에 달성하고자 한다.

칩 개발 및 검증 과정은 매우 신속하게 진행되었다. TSMC로부터 2024년 5월 첫 실리콘 샘플을 받은 후 일주일 이내에 하드웨어 구동에 성공했으며, 6월 초에는 Llama 3.1 모델을 실행하는 성과를 거두었다. 현재는 초기 액세스 고객들에게 제품을 인도하며 데이터 센터 적용을 준비 중이다.

FuriosaAI는 향후 소프트웨어 스택 고도화에 집중할 계획이다. 현재 GPT-J 6B 모델 기준 초당 약 12개의 쿼리를 처리하고 있으나, 소프트웨어 최적화를 통해 성능을 지속적으로 끌어올릴 예정이다.