Pie, 사용자 코드로 KV 캐시·생성 루프 제어하는 LLM 서빙 공개

Yale대 연구진이 SOSP 2025에서 공개한 Pie는 고정된 생성 루프 대신 사용자 프로그램(Inferlet)이 KV 캐시, 순전파, 샘플링 등을 직접 제어하는 오픈소스 LLM 서빙 시스템이다. 기존 vLLM이나 SGLang이 시스템 전체 정책으로만 KV 캐시를 관리해 애플리케이션이 직접 제어할 수 없었던 한계를 해결하기 위해 설계되었다.

아키텍처 및 성능

Pie는 순전파를 embed, forward, sample로 분리한 42개 API를 제공하며, WebAssembly 기반의 애플리케이션 레이어와 GPU 실행 추론 레이어로 구성된다. NVIDIA L4에서 Llama 3 1B 모델을 테스트한 결과, 외부 I/O가 잦은 에이전트 워크로드(ReACT 등)에서 지연 시간을 최대 15% 감소시키고 처리량을 최대 30% 증가시켰다. 특정 최적화(애플리케이션 지식 코드화) 적용 시 vLLM 대비 처리량이 3.5배 향상되기도 했으나, 이는 기본 기준선(vLLM의 약 1.5배)과 구분된다.

프로그래밍 가능성과 오버헤드

일반 텍스트 생성 시 Pie는 vLLM 대비 토큰당 약 1.5~1.9ms의 추가 지연(프로그래밍 가능성 세금)을 보인다. 이를 해결하기 위해 0.4.0 버전에서는 다음 순전파를 미리 준비하는 추측 실행(Speculative Execution) 기법을 도입해 오버헤드의 90% 제거를 주장했으나, 구체적인 TPOT 개선 수치는 공개되지 않았다. 현재 버전은 0.5.2이며, 프로젝트 FAQ는 Pie를 프로덕션 준비가 미비한 연구 프로토타입으로 규정하고 있으며, 다중 노드 추론은 아직 릴리스로 발표되지 않았다.