Furiosa SDK 2025.2: Hugging Face 및 추론 모델 지원

Furiosa가 LLM 및 에이전트 AI 추론용 칩인 RNGD를 위한 Furiosa SDK 2025.2.0을 출시했다. 이번 업데이트는 개발자 편의성을 높이고 모델 지원 범위를 확장하는 데 중점을 두었다.

주요 업데이트 사항은 다음과 같다:

• DeepSeek-R1-Distill을 포함한 추론 모델(Reasoning Models) 및 추론 파서 지원
• Hugging Face Hub에서 별도의 양자화 과정 없이 bfloat16, float32, float16 형식으로 모델 직접 빌드 가능
• LLM API 내 Chat with tool 지원을 통한 도구 호출(Tool calling) 대화 기능 구현
• 대규모 프리필(Prefill) 처리를 위한 Chunked prefill 지원
• 새로운 메타데이터 및 모니터링용 metrics 엔드포인트 추가

특히 Hugging Face 생태계와의 통합이 강화되어, furiosa-llm serve 등을 통해 모델 아티팩트를 직접 로드할 수 있으며 최적화된 사전 컴파일 모델도 즉시 사용할 수 있다.

이 외에도 Ubuntu 24.04, Python 3.11/3.12 지원을 통해 환경 호환성을 높였으며, NPU 장치 접근을 위한 리눅스 설정 과정을 간소화하여 개발 환경 구축을 더욱 편리하게 만들었다.