Qwen3.5 기반 소형 의사결정 모델 'Kev' 공개, TypeSafe API 호환 및 성능 지표 제공

개발자가 Qwen3.5 아키텍처를 기반으로 한 소형 의사결정 모델 가족 Kev를 공개했다. 이 프로젝트는 0.8B, 4B, 9B 파라미터 모델로 구성되며, 사전 학습된 가중치, 학습 코드, 평가 데이터를 포함해 배포된다.

아키텍처 및 기능

Kev는 Qwen base 모델에 LoRA와 pointer head를 결합한 구조를 채택했다. TypeSafe System One API와 호환되며, yes/no, multiple-choice, rating 질문을 단일 요청으로 처리할 수 있다. 질문 간 입력 텍스트는 공유되지만 상호 참조는 불가능하도록 설계되어 독립적인 판단을 보장한다. CUDA와 Apple Silicon을 지원하며, 4B 및 9B 모델은 bf16 정밀도로 32GB RAM의 Mac에서 실행 가능하다.

성능 및 벤치마크

모델별 성능은 다음과 같이 보고되었다:

• Kev-9B: New Sources dev/test에서 정확도 0.812/0.837, Brier score 0.291/0.243 기록.
• Kev-4B: 정확도 0.794/0.832, Brier score 0.316/0.266 기록.
• Kev-0.8B: 정확도 0.643/0.668, Brier score 0.513/0.473 기록.

참고 모델인 Jev(New Sources dev)는 정확도 0.857로 Kev-9B보다 높으나, 학습 데이터가 비공개되어 직접적인 아키텍처 비교에는 제한이 있다. 또한, unknowable 상황에서 0.9 이상의 높은 확신도로 답변하는 비율은 Kev-9B가 5%로, Jev(9%) 및 이전 세대 Kev-8B(26%)보다 낮아 신뢰도 측면에서 개선된 모습을 보였다.

서빙 및 학습 특성

• 서빙 성능: CUDA와 Apple Silicon을 지원한다. Apple Silicon 환경에서는 특정 최적화 커널의 부재로 인해 지연이 발생할 수 있으며, 저지연이 필요한 경우 Qwen3 기반 모델을 권장한다.
• 학습 및 파인튜닝: decision-v7 데이터셋을 사용하며, 자체 라벨링된 JSONL 데이터로 파인튜닝하는 것을 권장한다. --init_from 옵션으로 공개된 체크포인트를 기반으로 학습할 경우 기존 성능을 유지하면서 신규 도메인 성능을 향상시킬 수 있다.