FuriosaAI, Hot Chips에서 AI 가속기 RNGD 공개

FuriosaAI가 Hot Chips 2024에서 고성능 LLM 및 멀티모달 모델 추론에 최적화된 AI 가속기 RNGD(Renegade)를 선보였다. AMD, Qualcomm, Samsung 출신 엔지니어들이 설립한 FuriosaAI는 TSMC로부터 받은 실리콘 샘플을 통해 성공적으로 RNGD의 풀 브링업(full bring-up)을 완료했다.

초기 테스트 결과, Llama 3.1 및 GPT-J와 같은 모델에서 약 10B 파라미터 기준 초당 2,000~3,000 토큰의 처리량을 기록하며 강력한 성능을 입증했다.

RNGD의 핵심 혁신 사항은 다음과 같다:

• Tensor Contraction Processor(TCP) 아키텍처: 효율성, 프로그래밍 가능성, 성능의 완벽한 균형을 제공한다.
• 압도적인 전력 효율: TDP 150W를 달성하여, 1,000W 이상의 기존 GPU 대비 매우 높은 에너지 효율을 보여준다.
• 고성능 메모리: 48GB HBM3 메모리를 탑재해 단일 카드로도 대규모 모델을 효율적으로 구동할 수 있다.

현재 초기 고객을 대상으로 샘플을 제공 중이며, 2025년 초부터 본격적인 공급이 시작될 예정이다.