Furiosa SDK를 활용한 고속 추론 성능 시연

AI 추론의 핵심 과제는 빠른 응답 속도와 높은 활용도를 유지하면서 다수의 LLM 요청을 동시에 처리하는 것이다. FuriosaAI의 RNGD 칩은 기존 GPU의 행렬 곱셈 방식 대신 Tensor Contraction Processor(TCP) 아키텍처를 사용하여 데이터 처리 효율을 극대화하고 전력 대비 성능을 높였다.

이번 데모에서는 Llama 3.1 8B(FP8 양자화) 모델을 사용하여 대규모 퀴즈 생성 시나리오를 구현했다. 단 한 장의 RNGD 카드로 Furiosa SDK를 활용해 자동 배치(Automatic Batching)와 실시간 스트리밍을 지원하며, 다수의 사용자가 동시에 요청을 보내는 상황에서도 안정적인 성능을 보여준다.

Furiosa SDK는 다음과 같은 핵심 기능을 제공한다:

• 명령어 하나로 실행 가능한 OpenAI 호환 서버 구축
• vLLM을 대체하여 고성능 서빙을 지원하는 FuriosaLLM
• 자동 배치 및 스케줄링을 통한 대량의 병렬 요청 처리
• 전력 소모, 칩 온도, 토큰 처리량 등 실시간 시스템 메트릭 제공

사용자는 실시간 대시보드를 통해 처리량(Throughput), 효율성(Efficiency), 전력(Power), **온도(Temperature)**를 모니터링하며 시스템의 성능을 즉각적으로 확인할 수 있다.