LG AI Research, LLM 추론 성능 2.25배 향상 달성

LG AI Research가 FuriosaAI의 AI 가속기인 RNGD(Renegade)를 자사의 EXAONE 모델 추론을 위한 솔루션으로 채택했다. 이번 결정은 성능, 에너지 효율성, 소프트웨어 스택에 대한 수개월간의 엄격한 평가를 거쳐 이루어졌다.

RNGD는 GPU 대비 와트당 LLM 추론 성능이 2.25배 더 뛰어나며, LG AI Research의 까다로운 지연 시간(latency) 및 처리량(throughput) 요구 사항을 모두 충족했다. 이를 통해 기업은 기존 GPU의 높은 전력 소비와 비용 문제를 해결할 수 있는 대안을 확보하게 되었다.

주요 성능 및 효율성 결과는 다음과 같다:

• 에너지 효율성: GPU 기반 솔루션 대비 와트당 성능 2.25배 향상
• 컴퓨팅 밀도: 동일 전력 제한 내에서 GPU 랙보다 3.75배 더 많은 토큰 생성 가능
• EXAONE 3.5 32B 성능: 4개 RNGD 카드를 사용해 4K 컨텍스트에서 60 tokens/s, 32K 컨텍스트에서 50 tokens/s 달성

Furiosa와 LG AI Research는 전자, 금융, 통신, 바이오테크 등 다양한 산업 분야의 기업 고객을 대상으로 RNGD Server를 공급할 계획이다. 이는 기업이 자체 AI 스택을 소유하고 제어할 수 있는 Sovereign AI 환경 구축을 지원한다.