Apple, LLM 에이전트용 적응형 컨텍스트 관리 기술 SELFCOMPACT 제안

생각의 사슬과 도구 호출로 구성된 긴 에이전트 트레이스는 컨텍스트 윈도우를 초과할 수 있는 불필요한 내용을 축적한다. 기존 스캐폴드는 토큰 임계값에서 고정 간격으로 압축을 트리거하지만, 이는 궤적 구조를 무시하여 유도나 검색 중 부분 결과가 삭제될 위험이 있다.

자가 결정을 통한 적응형 압축

연구자들은 모델이 컨텍스트 압축 시점과 방법을 스스로 결정하도록 하는 SELFCOMPACT 스캐폴드를 제안했다. 이 접근법은 두 가지 추론 시 요소로 구성된다. 모델이 축적된 컨텍스트를 요약하기 위해 호출하는 압축 도구와, 실행 시점(예: 하위 작업 해결)과 억제 시점(예: 유도 중)을 지정하는 경량 루브릭이다. 두 요소 모두 필수적이다. 도구만으로는 오픈 웨이트 모델 간 사용이 불균일하며, 루브릭만으로는 작동할 수 없기 때문이다.

성능 및 비용 효율성

6개 벤치마크(경쟁 수학 및 에이전트 검색)와 7개 모델에 대한 실증 결과, SELFCOMPACT는 고정 간격 요약과 동등하거나 더 나은 성능을 훨씬 낮은 토큰 비용으로 달성했다. 이 방법은 요약 없음 기준선 대비 수학에서 최대 18.1점, 에이전트 검색에서 5~9점 향상되었으며, 질문당 비용을 30~70% 절감했다. 연구는 메타 인지적 격차를 강조한다. 프롬프트가 없는 모델은 컨텍스트 저하를 신뢰성 있게 감지할 수 없지만, 경량 루브릭은 파인튜닝이나 외부 감독 없이 이 격차를 해소한다.