Perplexity, Qwen3.8-27B 기반 의사결정 모델 pplx-decider-v1-27b 공개

Perplexity가 Qwen3.8-27B를 파인튜닝한 의사결정 모델 pplx-decider-v1-27b를 공개했다. 이 모델은 분류 및 의사결정 작업에 특화되어 있으며, 선택지나 예/아니오 질문에 대해 보정된 확률 값을 제공한다.

벤치마크 성능

Perplexity API를 통해 11개 벤치마크에서 측정된 결과, 이 모델은 **85.71%**의 전체 정확도를 기록하며 원본 모델인 Qwen3.8-27B(74.76%)와 Jev 기준선(84.51%)을 모두 상회했다.

주요 성능 지표는 다음과 같다:

• RAGTruth: 88.80% (원본 모델 61.53%)
• FinancialPhraseBank: 84.18% (원본 모델 75.68%)
• TabFact: 90.60% (원본 모델 78.60%)
• WinoGrande: 83.30% (원본 모델 73.10%)

사용법 및 요구 사항

실행을 위해 **Python 3.12+**와 가중치 및 작업 메모리용으로 약 49 GiB의 메모리를 갖춘 CUDA GPU가 필요하다. 모델은 BF16 텐서 타입을 사용하며 매개변수 규모는 26B이다.

사용자는 uv를 통해 추론 예제를 다운로드하여 직접 실행할 수 있다. Decider 클래스는 다음 기능을 지원한다:

• 선택지 작업: 정의된 기준에서 선택 (예: 지원 티켓 라우팅)
• 예/아니오 작업: 이진 질문에 대한 확률 결정
• 이미지 입력: predict 메서드나 명령줄 플래그를 통해 이미지 전달