LLM-as-Jev 논문 공개, 구조 변경 없는 결정 모델 활용법 제시

LLM-as-Jev 논문(arXiv:2610.02076)은 모델 구조, 토크나이저, 어휘 변경 없이 범용 LLM을 Jev식 결정 모델로 사용하는 방법을 제안한다. 선택지에 번호를 부여하고 어시스턴트 응답을 프리필(Prefill)하여 후보 접미어의 로그 확률을 결정 확률로 활용한다.

핵심 메커니즘과 효율성

• 구조 변경 없음: 선택지 수 상한 없이 트라이(Trie) 구조를 형성하여 충돌을 방지한다. 1,000개 선택지까지 검증되었다.
• 병렬 평가: KV 캐시 재사용과 교사 강제(Teacher Forcing)를 통해 151개 선택지도 최대 3회의 순전파로 처리 가능하다.
• 성능: Qwen3.5-4B 모델은 학습 없이 JevBench에서 **81.4%**의 정확도를 기록하며, 기존 SemIf 모델과 통계적 차이가 없다. Banking77(77개 선택지)에서는 **69.0%**를 달성했다.

미세조정 필요 조건과 효과

미세조정은 기반 모델이 약하거나 특정 작업(다수 선택지 분류 등)에 한해 유효하다.

• 소규모 모델(Qwen3-0.6B): 학습 없이 성능이 저조하나, 미세조정 시 Banking77 정확도가 **22.2%**에서 **60.5%**로 크게 개선된다.
• 대규모 모델(Qwen3.5-4B): 학습 없이 이미 높은 성능을 보이나, LoRA 미세조정 시 JevBench 정확도가 **84.0%**로 상승한다. 전체 미세조정은 오히려 JevBench 점수를 하락시킬 수 있다.
• KL 앵커: 범용 능력 보존을 위해 KL 앵커(λ=1)를 적용해야 분포 붕괴와 형식 이탈을 방지할 수 있다.