딥 에이전트를 위한 컨텍스트 관리

AI 에이전트가 처리하는 작업의 길이가 길어짐에 따라, LLM의 제한된 메모리 내에서 정보 손실(Context Rot)을 방지하는 컨텍스트 관리가 핵심 과제로 떠오르고 있습니다.

LangChain의 오픈 소스 에이전트 프레임워크인 Deep Agents SDK는 복잡하고 장기적인 작업을 수행하는 에이전트를 위해 다양한 컨텍스트 압축(Context Compression) 기능을 제공합니다. 이 SDK는 에이전트가 계획을 세우고, 하위 에이전트를 생성하며, 파일 시스템과 상호작용하며 작업을 실행할 수 있도록 돕습니다.

Deep Agents는 컨텍스트 크기에 따라 세 가지 주요 압축 기술을 단계적으로 실행합니다:

• 대규모 도구 결과 오프로딩(Offloading large tool results): 20,000 토큰을 초과하는 도구 응답이 발생하면, 해당 내용을 파일 시스템으로 옮기고 컨텍스트에는 파일 경로와 내용의 일부(첫 10줄)만 남깁니다.
• 대규모 도구 입력 오프로딩(Offloading large tool inputs): 컨텍스트가 모델 허용치의 85%를 초과하면, 이미 파일로 저장된 중복된 도구 호출 인자(파일 쓰기/수정 내용 등)를 삭제하고 파일 포인터로 대체합니다.
• 요약(Summarization): 오프로딩만으로 공간이 부족할 경우, LLM을 사용하여 대화 이력을 구조화된 요약본으로 변환하여 메모리에 유지합니다. 이때 원본 대화 내용은 파일 시스템에 보존하여 필요 시 검색할 수 있게 합니다.

이러한 다중 접근 방식을 통해 에이전트는 작업의 목표와 진행 상황을 명확히 인지하면서도, 필요한 세부 정보를 언제든 다시 불러올 수 있는 능력을 갖추게 됩니다.