LangSmith LLM Gateway: 에이전트를 위한 런타임 제어

LangChain이 LangSmith LLM Gateway의 공개 베타 버전을 출시했다. 이 도구는 에이전트와 모델 호출 사이에 위치하는 중앙 거버넌스 레이어로, 프로덕션 환경에서 발생하는 비용 초과, 장애, 민감 데이터 유출 등의 문제를 사전에 방지하기 위한 런타임 제어를 제공한다.

LLM Gateway는 비용 관리, 속도 제한, 모델 폴백, 민감 데이터 처리 기능을 지원한다. 조직, 워크스페이스, API 키, 사용자 단위로 지출 한도를 설정할 수 있으며, 한도 초과 시 402 응답을 반환해 에이전트 실행을 중단시킨다. 또한 멀티테넌트 환경에서 고객별 정책을 적용할 수 있다.

민감 데이터 보호를 위해 PII나 시크릿과 같은 정보를 모델 호출에서 마스킹(redaction) 처리할 수 있어, 민감한 데이터가 모델 제공업체로 전송되는 것을 차단한다. 단일 게이트웨이를 통해 폐쇄형 및 오픈 웨이트 모델을 통합 관리함으로써 벤더 락인(vendor lock-in)을 방지하고 모델 제공업체 변경의 유연성을 확보할 수 있다.