LangChain, ScaleDown CDM 통합으로 에이전트 컨텍스트 관리 효율화

LangChain이 장시간 실행되는 에이전트 워크플로우에 ScaleDown의 제약 디코딩 모델(CDM)을 통합하는 langchain-scaledown 패키지를 공개했다. 이 특화 모델은 요약, 압축, 추출, 분류 등 단일 작업에 최적화되어 범용 LLM 대비 효율성이 높다. ScaleDown은 자사 모델이 프런티어 모델 대비 200배 빠르고 467배 저렴하다고 보고했으며, 구체적으로 요약 모델은 GPT-5.5/5.4 평균 대비 41배, 압축 모델은 138배 저렴하다는 벤치마크 결과를 제시했다.

미들웨어 통합

이 패키지는 LangChain과 Deep Agents의 표준 컨텍스트 관리 단계를 대체하는 세 가지 미들웨어를 제공한다.

• ScaledownSummarizationMiddleware: 내장 요약 기능을 대체하며, 에이전트의 계획 수립 모델은 유지한 채 요약 생성 작업만 ScaleDown으로 위임한다.
• ScaledownToolCompressionMiddleware: 도구에 compression_query 파라미터를 추가하여 도구 결과를 관련 부분만 압축한 후 모델에 전달한다. 한 예시에서는 문서 페이지가 90% 압축되어 18,402자에서 3,110자로 줄었다.
• ScaledownExtractionMiddleware: 첫 모델 호출 전 사용자 메시지로부터 구조화된 데이터를 추출하여 라우팅이나 누적 추적을 위해 에이전트 상태에 저장한다.

게이트웨이 지원 및 사용법

ScaleDown은 LangSmith LLM Gateway의 /scaledown 경로에서 직접 모델 접근 제공자로 지원된다. 관리자가 단일 API 키를 등록하면 모든 ScaleDown 호출이 추적되며 표준 지출 및 속도 제한에 포함된다. 이 모델들은 최대 100만 토큰 입력과 추출 및 분류 작업을 위한 멀티모달 입력(이미지, PDF)을 지원한다.

ScaleDown은 코딩이나 초안 작성 같은 개방형 생성보다는 대량의 구조화된 의사결정 단계에 권장된다. 신규 계정은 통합 테스트를 위해 5,000만 무료 토큰을 제공한다.