LangChain, TypeSafe의 Jev와 LangGraph로 프로덕션 에이전트 구축 가이드 공개

LangChain이 TypeSafe AI의 새로운 의사결정 모델 Jev를 LangGraph 프레임워크에 통합하는 가이드를 공개했다. Jev는 텍스트 생성 대신 좁고 구조화된 판단을 내리는 시스템 1 모델로, 코드 워크플로우에서 AI가 특정 판단만 담당하도록 설계됐다. TypeSafe 벤치마크에 따르면 Jev는 라우팅 및 분류 작업에서 주요 LLM 대비 최대 200배 빠르고 400배 저렴하다.

Jev: 의사결정 프리미티브

Jev는 산문이 아닌 확률이 포함된 타입 지정된 답변을 반환하는 판단 프리미티브로 작동한다. TypeSafe는 이를 "신(god)이 아닌 프로덕션(prod)을 구축"하는 방식으로 설명하며, 의미적 판단과 범용 생성을 분리한다. Jev의 주요 특성은 다음과 같다:

• 구조화된 출력: 예측 가능한 코드 분기를 위해 확률이 포함된 타입 지정 답변을 반환한다.
• 병렬 처리: 동일한 상태에 대해 여러 질문을 동시에 수행할 수 있다.
• 일관성: LLM의 비결정적 특성과 달리 동일한 입력에 대해 안정적인 답변을 반환하도록 설계됐다.
• 속도: 단일 실행 내에서 자주 내릴 수 있을 정도로 판단 비용이 저렴하다.

초기 실험에서 Jev는 100회 반복 실행 동안 점수가 안정적으로 유지되어 일관성 측면에서 LLM 평가자를 크게 앞섰다.

LangGraph를 통한 오케스트레이션

LangGraph는 Jev의 빠른 판단과 다른 구성 요소를 결합할 때 컨텍스트를 관리하고 신뢰성을 보장하는 오케스트레이션 계층으로 기능한다. 모델 기반 시스템의 두 가지 주요 과제, 즉 단계별 컨텍스트 관리와 장애 발생 시 신뢰성 유지를 해결한다. LangGraph는 다음을 사용한다:

• 노드(Node): 코드, 모델 호출 또는 하위 그래프와 같은 작업 단위.
• 상태(State): 노드가 읽고 업데이트하며 후속 단계의 컨텍스트로 사용되는 정보.
• 엣지(Edge): 고정되거나 상태에 따라 동적으로 다음 노드를 결정하는 로직.

런타임은 체크포인팅을 통해 **내구성 있는 실행(durable execution)**을 제공하여, 실패한 실행을 처음부터 다시 시작하지 않고 마지막 성공 단계에서 재개할 수 있게 한다. 또한 검토가 필요한 단계를 위한 human-in-the-loop 인터럽트를 지원하고, 관측성을 위해 LangSmith와 통합된다.

실제 적용 및 성능

실무 예시로 법적 디스커버리를 위한 문서 검토가 있다. 이 워크플로우에서 Jev는 페이지의 관련성, PII, 특권 여부를 분류한다. PII가 감지될 경우에만 LLM을 사용하여 마스킹 처리를 수행하고, 잠재적 특권 문서는 인간 변호사가 검토한다. Sonnet을 평가자로 사용했을 때와 비교하면 Jev는 분류 단계에서 5~6배 빠르다.

또 다른 예로 브라우저 자동화가 있다. Browserbase는 Stagehand의 act() 함수를 Jev를 사용하여 액션을 선택하도록 재구축했다. Jev가 대화형 요소 목록에서 액션을 선택하고 신뢰도가 0.7 미만일 때만 LLM으로 폴백하도록 하여, 중앙값 지연 시간을 1.97초에서 0.46초로 단축했다(약 4.3배 빨라짐).

지능의 대분리(Great Unbundling)

이번 통합은 "기본은 프론티어"에서 "기본은 저렴, 예외는 프론티어"로의 전환을 나타낸다. Jaya Gupta는 이 트렌드를 "지능의 대분리(Great Unbundling of Intelligence)"라고 부르며, 기능을 분리하여 이를 처리할 수 있는 가장 저렴한 모델로 라우팅하는 현상을 지칭한다. 지능을 분리함으로써 개발자는 제한된 판단은 Jev 같은 빠르고 저렴한 모델로 라우팅하고, 고가의 LLM은 개방형 추론에만 예약할 수 있다. LangChain은 기존 에이전트에서 LLM 호출을 Jev로 교체할 수 있는 LangGraph decision models skill 등 이 패턴을 채택하는 데 도움이 되는 도구를 제공한다.