Unsloth, LLM 기반 결정 모델 미세조정 및 로컬 서빙 가이드 공개

Unsloth가 기존 LLM(Qwen, Gemma, Llama 등)에 작은 결정 헤드(Decision Head)를 부착해 텍스트 생성 대신 선택지별 확률을 반환하는 **결정 모델(Decision Model)**으로 미세조정하고 로컬에서 서빙하는 가이드를 공개했습니다. 이는 TypeSafe AI의 Jev 형식을 따르며, Convai Innovations의 Laya나 Cloudflare의 Clef와 같은 오픈 가중치 모델과 호환됩니다.

결정 모델의 구조와 용도

• 작동 원리: 입력 상태와 질문을 하나의 프롬프트로 연결해 LLM이 한 번만 읽은 후, 결정 헤드가 마지막 은닉 상태를 기반으로 각 선택지에 점수를 매깁니다. 텍스트 생성 단계가 없어 메모리 효율이 높습니다.
• 질문 유형: 예/아니오 여부(noul), 다중 선택(choice), 등급 매기기(score)를 지원하며, 최대 64개 질문과 255개 선택지를 처리할 수 있습니다.
• 적용 사례: 고객 문의 분류, 도구 호출 승인 등 정해진 보기 중 하나를 고르는 판단 작업에 적합합니다.

학습 및 서빙 방법

• 학습: Unsloth Studio UI 또는 코드(FastDecisionModel)를 통해 LoRA 어댑터와 결정 헤드를 함께 학습합니다. 권장 설정은 4비트 LoRA, 랭크 16, 학습률 2e-4입니다.
• 서빙: 학습된 모델이나 Laya/Clef를 Unsloth Studio의 Jev 호환 Decision API로 노출하여 로컬에서 실행할 수 있습니다. 기존 Jev 연동 코드는 URL 변경만으로 사용 가능합니다.

성능 및 주의사항

• 성능 개선: Qwen3.5-0.8B 모델의 경우 typed-decisions 데이터셋 정확도가 36%에서 **73%**로, BANKING77은 7%에서 **74%**로 향상되었습니다. Qwen3.5-2B는 검증 정확도 81%를 기록했습니다.
• 리소스: Qwen3.5-0.8B 학습 시 VRAM 4GB, 42분이 소요되며, Laya 미세조정은 VRAM 2.5GB, 10분으로 가장 효율적입니다.
• 해석 주의: typed-decisions의 정답은 교사 모델의 판정 평균이므로, 점수는 교사와의 일치도를 나타냅니다. 교사 자기 일치도 상한(0.735)을 크게 넘는 점수는 과적합 가능성을 시사합니다.
• 라이선스: Unsloth 결정 모델 학습 코드는 AGPL-3.0-only 라이선스를 따르므로 사내 서비스 사용 시 조건 확인이 필요합니다.