Vanilla JS로 구현한 AI Agent Tool Calling 원리와 비용 최적화

AI Agent는 모델이 직접 코드를 실행하는 것이 아니라, 1) 대화와 도구 목록 전달, 2) 모델의 tool_use 호출, 3) 실제 도구 실행 및 tool_result 반환, 4) 모델의 최종 응답 생성이라는 4단계 루프를 거친다. 이 과정에서 모델은 Stateless하므로 매 턴마다 전체 대화 배열을 재전송해야 하며, 이는 도구 출력량이 많을 경우(Fat tool output) 막대한 입력 토큰 비용을 발생시킨다. 예를 들어 10턴 실행 중 2턴에 8k 토큰을 반환하면 이후 8회 재전송되어 총 64k 토큰의 추가 비용이 든다. 이를 해결하기 위해 도구 반환량을 최소화하거나, Prefix caching(cache_control)을 적용해 재사용 시 입력 비용을 약 0.1배로 줄여야 한다. 또한 안정적인 작동을 위해 모든 호출에 대한 tool_result 응답, 병렬 호출 결과의 단일 메시지 통합, reply.content 원본 보존, 그리고 무한 루프 방지를 위한 turn count 제한(예: 20회)을 준수해야 한다.