TokenSpeed: 에이전트 워크로드용 초고속 LLM 추론 엔진

TokenSpeed는 에이전트형 코딩 워크로드를 위해 처음부터 설계된 LLM 추론 엔진이다. 5만 토큰을 넘는 긴 컨텍스트와 많은 턴을 전제로, 컴파일러 기반 병렬화 모델링, 안전한 KV cache 재사용 제약, 계층형 커널 시스템, SMG 통합을 묶어 CPU 측 요청 진입 비용까지 낮춘다.

모델링 레이어는 로컬 SPMD 구조를 택했다. 모듈 경계에 I/O placement 주석을 두면 경량 정적 컴파일러가 필요한 collective 연산을 자동 생성해, 개발자가 통신 로직을 직접 구현하지 않아도 된다.

스케줄러는 제어면과 실행면을 분리한다. 제어면은 C++의 FSM과 타입 시스템으로 KV cache 상태 전이, 자원 소유권, 연산 겹침 시점을 컴파일 타임에 검증하고, 실행면은 Python으로 유지해 연구·개발 속도를 높인다.

커널 레이어는 코어 엔진과 분리된 플러그인형 서브시스템이다.

• NVIDIA Blackwell 최적화와 이기종 가속기 지원을 위한 플러그인 구조, 공용 API, 중앙 레지스트리/선택 모델을 제공한다.
• decode 커널은 q_seqlen과 num_heads를 묶어 Tensor Core 활용률을 높였다.
• binary prefill 커널은 NVIDIA 내부 노브로 소프트맥스를 미세 조정했고, TokenSpeed MLA는 vLLM에 채택됐다.

성능 평가는 2026년 3월 중순 시작된 구현을 기준으로 진행됐다. EvalScope와 SWE-smith 트레이스로 코딩 에이전트 트래픽을 재현하면서, 목표는 GPU당 TPM을 극대화하되 사용자당 TPS는 보통 70, 경우에 따라 200 이상으로 유지하는 것이었다. 이번 공개는 PD disaggregation이 없는 단일 배포에 한정되며, 관련 지원은 후속 글로 예고됐다.

Kimi K2.5 벤치에서는 Attention TP4 + MoE TP4 구성이 코딩 에이전트에 가장 적합한 조합으로 나타났다. 이 설정에서 TokenSpeed는 TensorRT-LLM의 전체 Pareto frontier에서 우위를 보였고, batch size 1에서는 약 9% 더 낮은 지연, TPS/User 100 안팎에서는 약 11% 더 높은 처리량을 기록했다.

또 다른 핵심인 MLA 비교에서도 TokenSpeed의 binary prefill 커널이 다섯 가지 대표 prefill 워크로드 전부에서 TensorRT-LLM의 MLA를 상회했다. speculative decoding이 들어간 decode 구간에서는 batch size 4/8/16, long prefix KV cache 조건에서 지연을 거의 절반 수준으로 줄였다.

개발은 NVIDIA DevTech, AMD Triton, Qwen Inference, Together AI 등과 협업했고, OpenAI·NVIDIA·AMD·Verda·Nebius의 compute 지원도 받았다.