Decision 3.0 멀티모달 모델 공개

vLLM Semantic Router 팀이 오픈소스 멀티모달 의사결정 모델 **Decision 3.0 (d3)**을 공개했습니다. 0.6B부터 27B까지 다양한 크기의 모델로 구성되며, Apache-2.0 라이선스를 따릅니다. 텍스트 생성이 아닌 효율적인 의사결정 작업에 특화되어 있으며, 텍스트, 이미지, 비디오 입력을 지원합니다.

아키텍처 및 기능

Qwen3.5 (0.8B, 2B, 4B, 9B)와 Qwen3.8-27B 백본을 기반으로 구축되었습니다. 파라미터 수에 비전 인코더가 포함되어 있습니다 (예: 4B 모델은 0.33B, 27B 모델은 0.46B). 텍스트 생성 없이 모든 답변에 대한 확률을 제공하는 choice, yes/no, score 세 가지 의사결정 유형을 지원합니다. 동일한 입력에 대해 여러 질문을 개별 순방향 패스를 통해 한 번의 호출로 처리할 수 있습니다.

• 이미지: 요청당 여러 이미지를 지원하며, 최대 1.6 MP 해상도로 읽습니다.
• 비디오: 요청당 여러 비디오를 지원하며 (MP4, WebM, MOV, MKV), 2 fps로 샘플링하고 클립당 최대 32 프레임, 각 프레임은 최대 0.2 MP입니다.
• 가중치: BF16 형식이며, Transformers에서 trust_remote_code=True로 로드할 수 있습니다.

벤치마크 성능

공식 Jev 0.3 키트를 사용한 평가에서 Decision 3.0은 Jev Decision Index의 텍스트 및 비전 보드 모두에서 1위를 차지했습니다.

• 27B 모델은 텍스트에서 64.7, 비전에서 71.6점을 기록하며 Jev 자체 모델을 포함한 모든 목록 모델을 능가했습니다.
• 0.6B, 0.8B, 4B, 9B 모델은 각각 해당 크기 카테고리에서 선두를 차지했습니다.
• 9B 모델 (d3-flash)은 이전 세대인 27B 모델 (Decision 2.0)보다 성능이 우수합니다.

비디오 제로샷 결과

학습 과정에서 비디오 데이터를 사용하지 않았음에도, Perception Test validation set (19,140개 질문)에서 강력한 제로샷 비디오 이해 능력을 입증했습니다.

• 27B 모델은 77.4점을 기록했습니다.
• 4B 모델은 70.3점을 기록했습니다.

모델은 Hugging Face 컬렉션 vllm-sr/decision-30에서 확인할 수 있습니다.