에이전틱 워크로드용 Inference Engine 벤치마킹

기존 LLM inference 벤치마크는 1회성 prompt/decode 중심이었지만, 에이전틱 앱은 여러 턴에 걸쳐 tool을 호출하며 동작한다. 이 때문에 KV cache 관리, 스케줄러 압박, 긴 꼬리 분포가 성능을 좌우하는 핵심 변수가 된다.

제작사는 생산 환경의 post-training run과 deployment에서 얻은 trace를 바탕으로 3가지 workload profile과 이를 재생하는 open-source benchmarking harness를 공개했다. 대상은 agentic coding(SWE-Bench Verified 기반), 저장소 탐색형 code QA, 문서·스프레드시트·슬라이드 작업을 수행하는 office work다.

관측된 trace는 평균 약 20회의 tool turn을 보였고, assistant 응답은 대체로 200~300 tokens, tool output은 약 500 tokens, input prompt는 약 10k tokens에 모였다. 다만 turn 수, 출력 길이, tool call latency는 모두 긴 tail을 가져 수십~수백 초까지 늘어날 수 있었다.

용어도 정리했다. request는 한 번의 /completion 또는 /chat/completion 호출, trace는 한 agent session의 모든 request와 tool call, workload는 여러 trace의 집합이다. 병렬 tool call은 하나의 더 큰 prefill request로 합쳐 기록해, 엔진 관점의 비용과 semantics를 그대로 반영했다.

평가 지표는 배포 형태에 따라 달라진다.

• Batch: $/token 최소화가 중요해 completion throughput per GPU를 주요 지표로 본다.
• Background: SLA 준수가 중요해 end-to-end trace latency와 p90/p99 tail latency를 본다.
• Interactive agents: 사용자에게 처음 보이는 답변까지의 TTFAT가 핵심이며, streaming 속도를 나타내는 interactivity도 중요하다.

또한 단순한 mean trace replay는 고변동성과 convex cost를 반영하지 못해 실제 성능을 과대평가할 수 있다고 지적했다. 전체 trace 분포를 재생해야 스케줄링과 KV allocation 압력을 제대로 측정할 수 있다는 점이 이번 글의 핵심이다.