Jev와 경쟁하는 오픈소스 의사결정 모델 Laya 공개... 6~8배 빠르고 할루시네이션 차단

연구자가 폐쇄형 모델 'Jev'에 대응하는 완전 오픈소스 의사결정 모델 **'Laya'**를 공개했다. 이 모델은 2025년 arXiv에 발표된 비자기회귀(non-autoregressive) 강화학습 기반 연구 결과를 바탕으로, 고빈도 분류, 라우팅, 트리아지 등 AI 워크플로우에서 autoregressive chatbot의 비효율성을 해결하기 위해 개발되었다.

성능 및 아키텍처

Laya는 인간 뇌의 System 1처럼 30~35ms 이내의 즉각적인 의사결정을 수행하며, 텍스트 생성 없이 choice, score, noul 세 가지 decision primitives를 단일 forward pass로 처리한다. 이를 통해 hallucination과 schema violation을 물리적으로 차단한다.

• 속도: Jev 대비 6~8배 빠름 (단일 질문 32.8ms, 배치 시 질문당 7.2ms)
• 신뢰도: ECE(Expected Calibration Error) 0.081로 Jev(0.246)보다 우수
• 벤치마크: typed-decisions(0.766 vs 0.727), AG News(0.950 vs 0.910) 등 주요 항목에서 Jev 상회

글로벌 라우팅 및 한계

영어 모델이 비라틴 문자에서 낮은 정확도에도 높은 confidence를 보이는 현상을 해결하기 위해, 22개 유니코드 스크립트 기반의 pure Python 라우팅을 필수 전처리 단계로 도입했다. Router(preload=True)를 사용하면 언어 전환 시 발생하는 7~10초의 cold-swap 페널티를 제거할 수 있다.

다만, 20개 이상의 선택지를 가진 질문(Banking77 등)에서는 후보당 token 예산 부족으로 성능이 저하되므로 20개 미만 유지 또는 coarse-to-fine 구조를 권장한다. Base model은 zero-shot 수준(~0.35)이며, 벤치마크 성능은 fine-tuning 결과이다.