미들웨어를 활용한 에이전트 하네스 커스텀 방법

**에이전트 하네스(Agent Harness)**는 LLM을 데이터, 메모리, 도구 등 외부 환경과 연결하여 실행 가능한 시스템으로 만드는 핵심 요소다. 기본 구조는 LLM이 루프를 돌며 도구를 호출하는 단순한 형태를 띤다.

기존 방식으로는 프롬프트나 도구 자체를 수정하기는 쉽지만, 에이전트의 핵심 루프(Core Loop)를 변경하는 것은 까다로웠다. 예를 들어, 모델 실행 전 특정 단계를 강제로 실행하거나 도구의 출력값을 검증하는 로직을 넣는 것이 어려웠다.

**에이전트 미들웨어(Agent Middleware)**는 루프의 각 단계에서 커스텀 로직을 실행할 수 있는 다양한 **훅(Hooks)**을 제공하여 이러한 문제를 해결한다.

• before_agent: 호출 시 1회 실행 (메모리 로드, 입력 검증 등)
• before_model: 모델 호출 전 실행 (히스토리 요약, PII 탐지 등)
• wrap_model_call: 모델 호출 전체를 감싸는 단계 (캐싱, 재시도, 동적 모델 요청 등)
• wrap_tool_call: 도구 실행을 감싸는 단계 (컨텍스트 주입, 결과 가로채기 등)
• after_model: 모델 응답 후 도구 실행 전 단계 (Human-in-the-loop 구현에 적합)
• after_agent: 완료 시 1회 실행 (결과 저장, 알림 전송 등)

미들웨어는 비즈니스 로직 및 컴플라이언스(PII 마스킹), 동적 에이전트 제어(런타임 도구 선택), 컨텍스트 관리(토큰 제한 시 요약) 등 다양한 유스케이스에 활용될 수 있다.