AI 에이전트를 위한 효과적인 컨텍스트 엔지니어링

컨텍스트 엔지니어링은 프롬프트를 잘 쓰는 일을 넘어, LLM이 추론할 때 들어가는 토큰 전체를 어떻게 선별하고 유지할지 설계하는 작업이다. 시스템 프롬프트, tools, 메시지 히스토리, 외부 데이터, MCP 같은 요소를 함께 다뤄야 에이전트가 안정적으로 원하는 행동을 낸다.

핵심 전제는 컨텍스트가 유한한 자원이라는 점이다. 토큰이 늘어날수록 모델의 주의력은 분산되고, 긴 컨텍스트에서는 정보 회수와 장거리 추론 성능이 점차 떨어질 수 있다. 따라서 좋은 컨텍스트 설계는 많은 정보를 넣는 일이 아니라, 목표 달성에 필요한 고신호 토큰을 가장 작고 정제된 형태로 남기는 일이다.

System prompt는 복잡한 하드코딩도, 지나치게 추상적인 지시도 피하고 적절한 높이에서 행동을 안내해야 한다. 의미가 분명한 섹션 구분, XML 태그나 Markdown 헤더 같은 구조화, 그리고 실패 양상을 기준으로 한 최소한의 예시가 도움이 된다. 예시는 엣지 케이스를 무작정 늘리기보다, 기대 행동을 잘 대표하는 canonical examples 중심으로 구성하는 편이 낫다.

Tools는 에이전트가 환경과 상호작용하며 필요한 새 컨텍스트를 끌어오는 통로다. 도구 수가 과도하게 많거나 기능이 겹치면 선택 자체가 어려워지고, 잘못된 도구 사용으로 컨텍스트가 낭비된다. 각 tool은 자급자족적이고 오류에 강해야 하며, 입력 파라미터도 모호하지 않아야 한다.

최근에는 사전 임베딩 기반 검색만으로는 부족해지면서, 실행 시점에 필요한 정보를 동적으로 가져오는 just-in-time context 방식이 부상하고 있다. 파일 경로, 저장된 쿼리, 웹 링크 같은 가벼운 식별자만 보관하고, 실제 데이터는 필요할 때 tool로 불러오는 방식이다. Anthropic의 Claude Code처럼 일부는 미리 넣고, 나머지는 glob·grep·Bash 같은 도구로 탐색하는 hybrid strategy가 실용적인 해법으로 제시된다.

장기 작업에서는 컨텍스트 창을 넘는 목표를 유지하기 위해, 내부 기억에 전부 의존하기보다 점진적 발견과 외부 저장을 섞는 설계가 중요하다. 결국 에이전트의 성능은 모델만이 아니라, 무엇을 기억시키고 무엇을 꺼내오게 할지 정하는 컨텍스트 운영 능력에 달려 있다.