AI BriefingJared Palmer, Qwen3.5 기반 경량 의사결정 모델 'Kev' 공개
핵심 내용
Jared Palmer가 Qwen3.5 기반의 경량 의사결정 모델 Kev를 공개하며, Yes/No·선택지·평점 동시 처리와 Apple Silicon 지원을 제시했다.
자세히 보기
Jared Palmer가 Qwen3.5 기반의 경량 의사결정 모델 Kev를 공개했다. 이 모델은 Kev-0.8B, 4B, 9B 세 가지 크기로 제공되며, 단일 요청에서 yes/no(noul), multiple-choice(choice), rating(score) 질문을 동시에 처리할 수 있다. CUDA, ROCm 및 Apple Silicon(MLX)에서 실행되며, 4B와 9B 모델은 32GB Mac에서 구동 가능하다.
성능 및 최적화
Kev-9B는 새로운 소스 기준(New Sources)에서 정확도 0.852를 기록했으며, 이는 호스팅된 Jev의 0.857보다 약간 낮다. Apple M5 환경에서 MLX를 통해 실행 시 PyTorch 경로와 유사한 확률 값을 보이면서도 효율적인 추론이 가능하다. 다만, 현재 모델은 Apple Silicon에서 느린 편이며 transformers >= 5.17이 필요하다.
학습 및 배포
학습에는 decision-v7 데이터셋과 LoRA rank 16이 사용된다. 기존 체크포인트를 로드해 미세 조정하는 방식이 권장되며, Mac에서의 학습은 느리므로 Modal(H100) 사용을 권장한다.
한계 및 주의사항
Kev-9B는 외부 평가에서 Jev보다 열세인 경우가 많으며, 특히 MMLU 점수 격차(Kev 0.74 vs Jev 0.90)는 base 모델의 지식 갭으로 인해 지속된다. Option order가 답변에 영향을 미칠 수 있으며, 서버는 한 번에 하나의 요청만 처리하므로 batching이 지원되지 않는다. 날짜 연산 성능은 KEV_DATE_FACTS=1 설정 시 0.90으로 개선된다.
이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.
