Bespoke Labs, 결정 모델 Nimble 공개

Bespoke Labs가 사실 하나만 변경해 정답을 뒤집는 대조 데이터로 학습한 9B 파라미터 결정 모델 Bespoke-Nimble-9B와 학습 레시피를 공개했다. 이 모델은 Qwen3.5-9B에 LoRA를 적용해 답 생성 없이 허용된 답 토큰의 로짓만 읽어 확률을 출력한다.

성능 및 벤치마크

자체 홀드아웃 테스트(324개)에서 Nimble은 **90.12%**의 정확도를 기록해 기반 모델(66.36%)을 크게 앞섰으나, 경쟁 모델인 Jev 1.13.0(93.21%)보다는 낮았다. 사람 라벨이 붙은 공개 벤치마크 13개(3,880레코드)에서는 매크로 평균 **74.8%**로 Jev(76.0%) 대비 1.2%p 뒤졌다. 유형별로는 루브릭 등급(Score)에서 Nimble이 우위였으나, 참/거짓(Noul) 판단에서는 Jev가 4.4%p 더 높았다.

학습 데이터 및 방식

학습에는 **2,676개(1,338쌍)**의 대조 데이터가 사용되었으며, 라벨은 사람이 아닌 모델이 검사한 합성 라벨이다. 서빙 시 프롬프트 내 선택지에 A/B/C 등 토큰 코드를 부여하고, 다음 토큰 로짓 중 허용된 코드만 읽어 소프트맥스로 확률을 계산하므로 JSON 파싱이 불필요하다. Apple Silicon MLX 환경에서 공통 프리필을 공유하면 필드 수에 비례해 속도가 향상된다(8필드 긴 컨텍스트 시 7.25배).

버전 및 라이선스 현황

원래 릴리스와 v2는 Apache 2.0 라이선스로 상업적 이용이 가능하지만, v3는 CC BY-NC 4.0(비상업)이며 v4와 v4-max는 가중치가 공개되지 않은 유료 API 전용이다. v2는 4,926개 예제로 학습되었으나 공개된 데이터는 2,676개뿐이며, 324개 평가 세트 정확도는 82.7%로 원래 릴리스보다 낮았다. H100 기준 Nimble의 중앙값 지연 시간은 106.0ms로, Jev API(246.7ms)보다 빠르다.