효율적인 AI 추론을 위한 RNGD 서버 공개

FuriosaAI가 RNGD 가속기를 기반으로 한 첫 번째 브랜드 turnkey 솔루션인 NXT RNGD 서버를 선보였다. 이 시스템은 기존 데이터 센터 환경에 원활하게 통합되면서도 최신 AI 워크로드에서 높은 성능을 발휘하도록 최적화되었다.

Furiosa SDK와 Furiosa LLM runtime이 사전 설치되어 있어 설치 즉시 애플리케이션 구동이 가능하다. 특히 별도의 독자적인 패브릭이나 특수 인프라 없이 표준 PCIe 인터커넥트를 통해 최적화되었으며, 동일 전력 예산 내에서 GPU 기반 시스템보다 랙당 최대 3.5배 더 많은 컴퓨팅 성능을 제공한다.

주요 기술 사양은 다음과 같다:

• 연산 성능: 최대 8개의 RNGD 가속기 탑재 (서버당 4 petaFLOPS FP8), 듀얼 AMD EPYC 프로세서
• 메모리: 384 GB HBM3 (12 TB/s 대역폭) 및 1 TB DDR5 시스템 메모리
• 전력 및 냉각: 시스템 전력 3 kW, 공랭식 지원

시스템당 3 kW의 낮은 전력 소비 덕분에 대부분의 현대식 데이터 센터의 전력 및 냉각 제한 내에서 AI 규모를 확장할 수 있다. LG AI Research는 이미 자사의 EXAONE 모델 추론을 위해 RNGD를 채택했으며, 단일 서버(RNGD 카드 4개 사용)에서 4K 컨텍스트 기준 초당 60 토큰의 성능을 입증했다.