Pi의 Compaction 작동 방식

LLM 기반 코딩 에이전트는 대화가 길어질수록 컨텍스트 창(Context Window) 제한에 직면한다. 모든 이전 메시지와 도구 호출 결과가 누적되면 결국 모델이 요청을 처리할 수 없게 된다.

이를 해결하기 위해 Pi는 Compaction(압축) 기술을 사용한다. 단순히 대화를 새로 시작하여 이전 맥락을 모두 버리는 대신, 대화의 핵심 내용을 요약하여 컨텍스트를 압축함으로써 대화를 지속할 수 있게 한다.

Pi의 Compaction 구현 방식:

• 트리거: 컨텍스트 제한에 도달하기 직전에 자동으로 실행되거나, 사용자가 /compact 명령어로 직접 실행할 수 있다.
• 최근 맥락 보존: 최근 메시지들은 요약하지 않고 그대로 유지한다. Pi는 현재 약 20,000 토큰(약 5~20회 턴)의 토큰 예산을 설정하여 최근 대화의 무결성을 보장한다.
• 전용 프롬프트 활용: Compaction 시에는 일반적인 코딩 어시스턴트 프롬프트 대신, **'Context Summarization Assistant'**라는 별도의 시스템 프롬프트를 사용한다.
• 구조화된 요약: 요약 요청 시 목표(Goal), 진행 상황(Progress), 주요 결정 사항(Key Decisions)을 포함하도록 설계하여, 이후 대화에서 맥락을 효율적으로 복구할 수 있게 한다.