SGLang 기반 Qwen3-VL-8B Decision Model로 Agent Latency 15배 단축 및 비용 18% 절감
·2026.11.17 10:55
핵심 내용
SGLang 서빙 Qwen3-VL-8B로 판단 노드 Latency 15배 단축, 품질 저하 없이 비용 18% 절감했다.
자세히 보기
- SGLang(v0.5.21 이상)으로 Qwen3-VL-8B를 Prefill-only Decision Model로 서빙하여 판단 Latency를 기존 Frontier Model 대비 약 15배(p50 531~552ms → 34~38ms) 단축함
- e2e Latency 33.6% 감소 및 대화당 비용 18% 절감, Blind Pairwise 평가에서 품질 통계적 유의차 없음(p=0.215) 확인
- 한국어 Guardrail 판단 정확도 0.913, RAG 필터 0.980, 이미지 10지선다 0.98 달성, 20~80ms 내 처리
- Single-token Label은 26개 초과 시 품질 급락(77지선다 0.187), 26개 이하로 분해하거나 Two-letter Label 전환 필요
- Confidence 과신 문제 해결을 위해 홀드아웃 300건 이상 기반 Reliability Table 작성 및 Threshold 역산 필수
- 접근 A(무FT + Calibration)는 이미지 판단 및 다국어 Zero-shot 가능, 접근 B(Laya 322M Fine-tuning)는 CPU 서빙 가능하나 Task 변경 시 재학습 부담
- VPC 내 폐쇄 운영을 위해 Interface VPC Endpoint(PrivateLink) 사용, Bedrock Escalation은 Confidence 미달 시에만 발생
- 월 250만 건 미만 판단 요청 시 Frontier Model 단독 사용이 비용 효율적, SGLang 서빙 중 Decision Endpoint 추가 시 한계비용 0에 수렴
이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.