LangSmith LLM Gateway: 에이전트 생명주기에 통합된 런타임 거버넌스

LangChain은 에이전트 개발, 관찰, 평가가 이루어지는 LangSmith 내에 런타임 거버넌스 레이어인 LangSmith LLM Gateway를 출시했다. 이 게이트웨이는 에이전트와 LLM 제공업체 사이에서 작동하며, 요청이 모델에 도달하기 전 비용 제한을 집행하고 민감한 데이터를 삭제하는 역할을 한다.

기존에는 관찰(Observability)과 실행(Enforcement)이 분리되어 있어, 문제가 발생했을 때 여러 도구를 오가며 신호를 대조해야 하는 번거로움이 있었다. 하지만 LLM Gateway는 LangSmith 내에서 정책 실행과 트레이싱을 통합하여, 차단된 요청을 즉시 해당 트레이스로 추적하고 수정할 수 있는 환경을 제공한다.

현재 베타 버전에서 제공되는 주요 기능은 다음과:

• 지출 제한(Spend limits): 조직, 워크스페이스, 사용자 또는 API 키 수준에서 비용 상한을 설정하여 예기치 못한 과다 청구를 방지한다.
• 지출 가시성(Spend visibility): 워크스페이스 및 사용자별 실시간 비용 합계를 제공한다.
• PII 및 비밀 정보 탐지(PII and secrets detection): 모델에 전달되거나 트레이스에 기록되기 전, 요청과 응답에서 민감한 데이터를 자동으로 삭제한다.
• 트레이스 연속성(Trace continuity): 게이트웨이를 거친 모든 호출이 기존 LangSmith 워크스페이스의 트레이스와 동일하게 유지되어 관찰성을 해치지 않는다.
• 감사 로그(Audit logging): 모든 관리 작업을 기록하여 컴플라이언스 및 보안 팀의 요구를 충족한다.

설정 방법은 매우 간단하다. 기존 코드의 base_url을 LangSmith Gateway 엔드포인트로 변경하고 API 키를 설정하기만 하면, 기존 코드를 유지한 채 강력한 거버넌스 기능을 즉시 적용할 수 있다.