Phocinae-Largha-150M-v1: LLM 호출 55% 줄이는 144M 파라미터 로컬 결정 엔진

에이전트 세션에서 반복되는 승인, 도구 선택, 단계 검증 같은 구조화된 결정을 처리한다. 상태와 질문 목록을 입력하면 단일 forward pass로 신뢰도가 포함된 답변을 즉시 반환한다.

1 / 7

144.3M 파라미터의 경량 모델로 RTX 5090 기준 21ms의 낮은 지연 시간을 보인다. 낮은 신뢰도의 결정만 상위 LLM으로 라우팅해 API 호출량을 55% 줄이면서 정확도를 유지한다.

오픈소스 LLM과 달리 채팅이나 긴 문서 추론에는 적합하지 않다. 데이터 유출 없이 로컬에서 결정 게이트웨이로 작동해야 하는 보안 민감 환경이나 비용 최적화가 필요한 에이전트 워크플로우에 유용하다.