RNGD 프리뷰: FuriosaAI의 Renegade AI 가속기

FuriosaAI가 대규모 언어 모델(LLM) 및 멀티모달 모델 추론을 위한 고효율 AI 가속기 RNGD(Renegade)를 개발했다. 이 칩은 올해 말 출시를 목표로 현재 하드웨어 샘플 테스트를 진행 중이다.

RNGD는 최신 GPU가 최대 1,200W를 소비하는 것과 달리, TDP(열 설계 전력) 150W로 설계되어 전력 효율성이 매우 높다. 특히 고급 LLM 실행 시 Nvidia H100 대비 전력당 성능(Performance per Watt)이 3배 더 뛰어나다.

주요 기술 사양은 다음과 같다:

• 연산 성능: 512 TFLOPS (FP8) 또는 256/512/1024 TOPS (BF16/FP8/INT8/INT4)
• 메모리: 48GB HBM3, 1.5 TB/s 대역폭
• 소프트웨어: PyTorch 2.x 네이티브 지원, 모델 양자화 API, Kubernetes 지원 등

텐서 기반 하드웨어 아키텍처를 채택하여 새로운 모델 구조도 자동으로 최적화할 수 있으며, 데이터 멀티캐스트 기능을 통해 SRAM 액세스를 줄이고 데이터 재사용성을 높였다.