TypeSafe AI, LLM보다 200배 빠른 구조화 결정 모델 'Jev' 공개

TypeSafe AI가 텍스트 생성 대신 빠르고 구조화된 결정을 수행하는 System One 모델 클래스의 **'Jev'**를 공개했다. 이 모델은 분류 작업에서 비교 가능한 LLM 대비 추론 속도는 최대 200배 빠르고, 비용은 400배 낮다는 것이 회사 측 주장이다.

Jev는 Reinforcement Learning for Calibrated Decisions(RLCD) 기법으로 학습되었으며, 입력된 상태(state)와 질문에 대해 타입이 지정된 답변과 확률을 반환한다. 전체 LLM 호출 없이 코드에서 결과를 활용해 에이전트의 다음 동작을 결정할 수 있다. 질문 유형은 Choice(옵션 선택), Score(순서 있는 수준 평가), Noul(예/아니오 질문) 세 가지로 구성된다.

LangChain 통합 및 활용

Jev는 LLM의 대체재가 아닌 보완재로 설계되었다. LLM이 개방형 추론과 생성을 담당하는 동안, Jev는 빠른 구조적 결정을 처리한다. LangChain 통합을 위해 langchain-typesafe 패키지를 설치하고 TypeSafeClassifier를 사용하면 된다.

주요 활용 사례는 다음과 같다:

• Model Routing: ModelRouterMiddleware를 사용해 요청의 복잡도에 따라 'fast' 모델과 'powerful' 모델을 자동으로 선택한다.
• Auto Mode: AutoModeMiddleware를 통해 bash 도구 등 위험한 행동 실행 전 Jev로 분류하여 가드레일을 적용한다. 기존에는 클로즈드 소스 하네스에 한정되었던 기능을 모든 에이전트에 적용할 수 있게 되었다.

Browserbase의 Kyle Jeong은 Jev를 활용해 브라우저 사용 에이전트를 1센트 미만 비용으로 구동했으며, Jarrod Watts와 Ryan Vogel은 각각 라이브 트레이딩 에이전트와 대규모 이메일 분류에 이를 적용했다.