Hugging Face, Groq 추론 지원

Hugging Face Hub에 Groq가 새로운 추론 프로바이더(Inference Provider)로 추가되었다. 이를 통해 개발자들은 Hugging Face 생태계 내에서 Groq의 고성능 인프라를 활용하여 모델을 실행할 수 있다.

Groq의 핵심 기술인 **LPU™(Language Processing Unit)**는 기존 GPU의 한계를 극복하여 LLM 추론 시 매우 낮은 지연 시간(Latency)과 높은 처리량(Throughput)을 제공한다. 현재 Llama 4, Qwen QWQ-32B 등 다양한 최신 오픈 소스 모델을 지원한다.

주요 특징 및 활용 방법:

• 웹 UI 통합: 사용자 설정에서 Groq API 키를 등록하여 직접 호출하거나, Hugging Face를 통해 라우팅하여 HF 계정으로 비용을 결제할 수 있다.
• SDK 지원: Python(huggingface_hub) 및 JavaScript(@huggingface/inference) SDK에서 provider="groq" 파라미터를 추가하는 것만으로 간편하게 연동이 가능하다.
• 유연한 결제: 사용자의 Groq API 키를 사용하면 해당 프로바이더에서 직접 비용이 청구되며, HF 라우팅 모드를 사용하면 Hugging Face 계정으로 통합 관리된다.