토큰을 낭비하지 않는 방법 (15분 분량)

LLM 에이전트가 실행 중인 프로세스가 OOM(Out of Memory), 배포(Deploy), 또는 시스템 강제 종료로 인해 중단되면, 이미 생성 중이던 In-flight HTTP request가 소실된다. 이로 인해 이미 비용을 지불한 출력 토큰을 다시 생성하기 위해 중복 비용을 지불해야 하는 문제가 발생한다.

특히 여러 번의 Tool Call을 수행하는 복잡한 에이전트 루프의 경우, 중간에 프로세스가 끊기면 해당 턴에서 생성된 모든 토큰 비용이 그대로 매몰된다. 모델의 성능이 높을수록(예: GPT-5.5 vs GPT-5.5-mini) 재시도 시 발생하는 비용 부담은 기하급수적으로 커진다.

이를 해결하기 위해 에이전트와 LLM 제공자 사이에 Durable Buffer를 두는 아키텍처를 제안한다. 버퍼를 별도의 Worker나 Durable Object로 분리하여 배포하면 다음과 같은 이점이 있다.

• 프로세스 독립성: 에이전트 프로세스가 종료되어도 버퍼 프로세스는 계속 실행되어 LLM의 응답을 끝까지 수신한다.
• 데이터 영속성: 수신된 데이터는 SQLite에 즉시 저장되어, 연결이 끊긴 브라우저나 재시작된 에이전트가 다시 따라잡을 수(Catch up) 있다.
• 비용 최적화: 추론 중단 시에도 이미 생성된 토큰은 데이터베이스에 안전하게 기록되므로, 처음부터 다시 호출할 필요가 없다.