vLLM, 의사결정 특화 AI 모델 'Decision 1.0' 공개

vLLM Semantic Router 팀이 애플리케이션의 의사결정 로직을 돕기 위한 Decision 1.0 모델 6종과 테스트 환경인 Decision Studio를 공개했다. 이 모델들은 텍스트를 생성하는 대신, 입력된 상태와 질문, 후보 기준에 대해 각 선택지가 정답일 확률을 반환하는 인터페이스를 제공한다.

모델 구성 및 특징 공개된 모델은 경량 인코더 2종(Kai, Lex)과 디코더 4종(Eos, Sol, Nox, Lux)으로 구성되며, Hugging Face에서 Apache 2.0 라이선스로 배포된다. 디코더 계열은 Qwen3.5 기반 백본을 사용하며, 블로그에 실린 공개 평가 그림 기준 Lux-9B는 76.94%의 가중 종합 점수를 기록하며 공개 모델 중 최상위 성능을 보였다. (참고: 호스팅형 모델인 Jev는 81.05%로 더 높게 평가됨)

출력 형식 및 활용 모델은 세 가지 출력 형식을 지원한다.

• Choice: 후보 ID별 확률 (예: 배송/결제/기술 지원 중 선택)
• Noul: 조건 만족 확률 P(true) (예: 오늘 처리 여부)
• Score: 단계별 확률과 기대 점수 (예: 긴급도 등급)

Decision Studio 및 배포 Hugging Face Space에서 제공되는 Decision Studio를 통해 브라우저에서 모델을 직접 테스트할 수 있으며, 영어 예제 36개가 포함되어 있다. 현재는 AMD GPU 기반의 데모 API가 제공되지만, 이는 생산 환경용이 아닌 검증용이다. 자체 서비스 배포 시에는 TypeSafe Python SDK를 활용할 수 있다. 팀은 향후 vLLM Semantic Router에 Decision을 기본 통합하는 것을 다음 단계로 제시했다.