신탁(The Oracle)과 기업(The Firm)

최신 AI 모델들이 복잡한 작업을 수행하기 위해서는 방대한 토큰을 처리하는 컨텍스트 관리(Context Management) 능력이 필수적이다. 현재 OpenAI와 Anthropic은 이 문제를 해결하기 위해 서로 상반된 접근 방식을 취하고 있다.

OpenAI는 압축(Compaction) 방식을 사용한다. Codex 모델은 긴 대화 흐름에서 불필요한 정보를 제거하거나 요약하여 핵심 정보만 남기는 서버 측 압축 기술을 활용한다. 이를 통해 단일 스레드 내에서 높은 일관성을 유지하며, 사용자가 세부 사항을 기억하도록 돕는 '신탁(Oracle)'과 같은 역할을 수행한다.

반면 Anthropic은 분할(Splitting) 방식을 선호한다. Claude 모델은 문제를 여러 하위 문제로 나누고, 각 Sub-agent가 자신의 컨텍스트 윈도우 내에서 작업을 수행한 뒤 결과만 부모 에이전트에게 전달하는 구조를 가진다. 이는 마치 조직 내에서 각 팀원이 맡은 업무를 수행하고 보고하는 '기업(Firm)'의 운영 방식과 유사하다.

이러한 전략 차이는 효율성 면에서 뚜렷한 특징을 보인다.

• OpenAI: 단일 스레드 중심의 높은 일관성과 효율적인 K/V 캐싱 활용.
• Anthropic: 에이전트 간 중복 작업 발생 가능성으로 인한 비용 증가 및 높은 체감 속도.