Perplexity, pplx-decider-v1.1-27b 공개... Jev 제치고 Decision Index 61.56 달성

Perplexity가 의사결정 모델 pplx-decider-v1.1-27b를 공개했다. 이번 업데이트로 Decision Index 점수가 56.4에서 61.56으로 상승했으며, 동일한 Qwen3.8-27B 백본을 사용하는 Jev 모델보다 3.5점 이상 높은 성능을 기록했다. 성능 향상은 인과적 주의력(causal attention) 제약 해제와 tasksource의 추가 학습 데이터 도입에 기인한다.

평가

종합 점수는 단순 카테고리 평균이 아닌 평가 스위트의 가중치를 적용해 산출한다. pplx-decider-v1.1-27b의 주요 카테고리 점수(비교 대상 Jev 점수)는 다음과 같다:

• Knowledge: 48.18 (Jev: 51.4)
• Language: 69.45 (Jev: 62.0)
• Retrieval: 61.26 (Jev: 55.4)
• Tools: 78.88 (Jev: 75.1)
• Arts: 44.66 (Jev: 37.7)

아키텍처 및 서빙

체크포인트는 Qwen3.8-27B 백본(Transformers 클래스명 Qwen3_5Model)과 BF16 [255, 5120] 의사결정 헤드가 포함된 readout.safetensors로 구성된 네이티브 의사결정 체크포인트 레이아웃을 사용한다.

주요 서빙 요구사항:

• 전체 주의력 레이어는 저장된 noncausal 주의력 모드를 사용한다. 기본 인과적 추론으로는 평가 환경을 재현할 수 없다.
• 제공된 DecisionModel.predict는 저장된 보정 온도를 적용한다. 로짓을 직접 사용할 경우 이 온도를 정확히 한 번만 적용해야 한다.
• 이 아티팩트는 전체 어휘 lm_head가 아닌 별도의 readout을 사용한다. Qwen3_5ForConditionalGeneration을 요구하는 서빙 시스템에서는 readout 행을 어휘 행에 매핑하는 별도 내보내기 작업이 필요하다.

사용법

사용을 위해 Python 3.12 이상, 비공개 저장소에 대한 인증된 Hugging Face 접근 권한, 그리고 약 49 GiB의 가중치와 작업 메모리를 수용할 수 있는 CUDA GPU가 필요하다.

이미지

이미지는 파일 경로, PIL 이미지, 또는 base64 URL로 전달할 수 있다. 프로세서는 종횡비를 유지하며 변을 32px의 배수로 반올림해 크기를 조정한다.

• 토큰 제한: 텍스트와 이미지는 8,192토큰 한도 내에 포함돼야 한다.
• 해상도: 기본 max_image_pixels는 2048×2048이다. 그러나 학습 및 평가 시 이미지는 512×512(≤256토큰)로 제한됐다. 더 높은 해상도는 학습 분포 범위를 벗어난다.