SemIf: 텍스트 생성 없이 4B 모델로 즉시 분기 판단

에이전트가 '이 조건이면 A로 보내라' 같은 단순 분기 판단을 할 때, LLM이 문장을 만들고 파싱하는 과정은 낭비다. SemIf는 모델의 로짓을 직접 읽어 확률값을 즉시 반환한다. 텍스트 생성 루프가 사라져 응답 속도가 대폭 빨라진다.

Qwen3.5-4B 모델 기준, 21개 조건을 판단하는 데 생성 방식은 5.3초가 걸리지만 이 도구는 1초 만에 끝난다. 긴 컨텍스트를 한 번만 로드하고 여러 조건을 병렬로 평가하는 모드도 지원한다. CPU 전용 llama.cpp 백엔드부터 Apple Silicon의 MLX까지 다양한 환경에서 구동된다.

TypeSafe의 폐쇄형 서비스인 Jev의 인터페이스 패턴을 오픈 모델로 재현했다. 4B 모델로 Jev의 88.3%에 근접한 84.5%의 정확도를 기록했으며, 27B EXL3 브리지를 통해 더 높은 성능도 검증했다. 모든 벤치마크 데이터와 프롬프트 해시는 저장소에 공개되어 신뢰성을 확보했다.