AI Briefing단일 GPU로 초당 491개 질문 처리하는 오픈소스 LLM 추론 서버 spinf-serve 공개
·2026.10.31 02:03
핵심 내용
RTX 4090에서 초당 491개 질문을 처리하는 오픈소스 LLM 추론 서버가 공개됐다.
자세히 보기
- spinf-serve는 단일 24GB NVIDIA GPU에서 대량 분류 및 의사결정 작업을 최적화한 오픈소스(Apache 2.0) 추론 서버임
- RTX 4090에서 Gemma 4 12B fp8 모델을 사용해 초당 491개 질문과 초당 11,200개 토큰을 처리하며, 초당 200개 질문을 처리한 vLLM 0.26보다 우수한 성능을 보임
- 콘텐츠는 한 번만 처리하고 새 텍스트 생성 없이 고정 옵션 질문에 분기하여 답변하는 'one read, many questions' 아키텍처를 사용함
- OpenAI 호환 API, 텍스트, 이미지, 오디오, 비디오를 포함한 멀티모달 입력, 텍스트, 숫자, 금액 추출 슬롯을 지원함
- Linux, Python 3.12, CUDA 13가 필요하며 기본 모델은 포트 8000에서 서비스되는 spinf/gemma-4-12b-fp8임
- 벤치마크 결과, 24개 Wikinews 기사에 포함된 1,344개 질문을 vLLM의 6.7초 대비 2.7초에 처리함
이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.
