큰 컨텍스트 창을 신뢰하지 마라

LLM의 컨텍스트 창은 모델이 예리하게 작동하는 스마트 구간과 주의력이 떨어지는 둔한 구간으로 나뉩니다. 연구(RULER, Chroma)에 따르면, 컨텍스트 창을 채울수록 성능이 점진적으로 저하되는 'Context Rot' 현상이 발생하며, 실제 유효 컨텍스트는 광고된 수치의 일부에 불과합니다.

특히 코딩 에이전트의 경우, 파일 읽기나 디버깅 과정에서 토큰을 빠르게 소모하여 100k 토큰 부근의 성능 저하 구간에 쉽게 도달합니다. 따라서 단순히 긴 세션을 유지하기보다 다음과 같은 전략이 권장됩니다.

• Breadcrumb 접근법: 세션을 길게 가져가는 대신, 작업 중간에 명세(Specification)와 작은 산출물(Artifact)을 직접 작성하여 세션 외부에 남깁니다.
• 작은 단위의 인계: 자동 요약 기능에 의존하기보다, 사람이 직접 결정한 핵심 정보를 다음 세션에 전달함으로써 모델이 '스마트 구간'에 머물게 합니다.
• 예산 관리: 컨텍스트 창을 무한한 공간이 아닌, 모델의 주의력이 집중되어야 할 **예산(Budget)**으로 간주하고 관리해야 합니다.