AI BriefingUbicloud, vLLM constrained decoding으로 tool-call 정확도 100% 달성
·2026.10.26 21:59
핵심 내용
Ubicloud가 vLLM constrained decoding 활성화로 tool-call 정확도를 100%로 높였다
자세히 보기
- Ubicloud가 vLLM의 서버사이드 constrained decoding 플래그를 활성화하여 K2VV ToolCall 벤치마크에서 tool-call schema 정확도를 92%에서 100%로 끌어올림
- 커스텀 vLLM 포크에서 upstream vLLM 0.25+ 기능으로 마이그레이션한 후 constrained decoding을 명시적으로 활성화하지 않은 요청의 기본 동작이 변경되어 정확도가 91~92%로 하락함
- Constrained decoding은 XGrammar 라이브러리를 활용해 샘플링 중 잘못된 토큰을 마스킹하여 tool name부터 schema-constrained JSON까지의 엄격한 생성 경로를 강제하며 성능 오버헤드는 무시할 수준임
- vLLM 유지보수자들은 일반 모델 성능 저하, grammar 번역 버그, speculative decoding과의 기능 상호작용 버그라는 세 가지 문제를 피하기 위해 constrained decoding을 기본적으로 비활성화 상태로 유지함
- 사용자는 이제 --tool-strict-level 플래그를 통해 엄격도를 제어할 수 있으며 Kimi와 DeepSeek 같은 모델에 대해 배포 환경별 구성이 가능해짐
이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.
