Deep Agents, 미들웨어 5가지 기술로 컨텍스트 로트 방지

장기 실행 에이전트는 누적된 이력과 도구 출력으로 인해 모델 정확도가 떨어지는 컨텍스트 로트(context rot) 문제를 겪는다. LangChain의 오픈소스 에이전트 하네스 Deep Agents는 미들웨어를 통해 컨텍스트를 삭제하지 않고 전략적으로 활성 창 밖으로 이동시켜, 모델이 적절한 시점에 올바른 정보를 받도록 보장한다.

핵심 컨텍스트 관리 기술

하네스는 컨텍스트 창 관리를 위해 다음 5가지 전략을 사용한다:

• 오프로딩: 큰 도구 결과(약 20,000토큰 초과)와 사용자 메시지(50,000토큰 초과)는 파일 시스템에 저장된다. 모델은 미리보기와 파일 경로만 보며, 필요 시 read_file로 전체 데이터를 가져온다.
• 요약: 토큰 사용량이 컨텍스트 창의 85%에 도달하면, 별도의 LLM 호출로 이전 메시지를 요약한다. 원본 메시지는 /conversation_history/{session_id}.md에 저장되어 복구할 수 있다.
• 스킬: 전문 지침은 폴더에 저장되며 점진적 공개(progressive disclosure) 방식으로 로드된다. 모델은 스킬 이름과 설명만 보다가, 전체 지침 로드 여부를 명시적으로 결정한다.
• 서브에이전트: 심층 연구 같은 노이즈가 많은 작업은 격리된 컨텍스트 창에서 실행된다. 서브에이전트는 원시 데이터를 처리하고 간결한 결과만 메인 에이전트에 반환해, 주요 컨텍스트를 깨끗하게 유지한다.
• 장기 기억: 에이전트의 학습 내용은 마크다운 파일(예: /memories/AGENTS.md)에 영구 저장된다. 이 파일들은 실행 시작 시 로드되어 시스템 프롬프트에 주입되며, 대화 간 선호도가 유지되도록 한다.

프로바이더 독립성 및 구현

기억이 사용자 제어 저장소의 일반 파일로 저장되므로 Deep Agents는 프로바이더 독립적이다. 사용자는 OpenAI에서 다른 프로바이더로 모델이나 프로바이더를 전환하더라도 학습된 모든 컨텍스트와 선호도를 유지할 수 있다. 이 기술들은 모델 호출이나 도구 실행 전 에이전트 루프를 가로채는 미들웨어 훅으로 구현되며, 표준 사용 사례에서는 커스텀 코드가 필요 없다.