KV 캐시 오프로딩과 EPP 라우팅 결합으로 LLM 추론 처리량 2.58배 향상

·2026.11.16 21:14

핵심 내용

GPU 32장 환경에서 처리 시간을 121.7분에서 47.2분으로 단축했다.

1 / 16

자세히 보기

  • KV 캐시 오프로딩(LMCache)과 EPP 라우팅 결합으로 A100 80GB 32장 환경에서 처리량 2.58배(1.219 req/s) 달성함
  • EPP 라우팅 적용 시 GPU 캐시 적중률 27.7%에서 90.5%로 상승하고 재계산 토큰이 2,530만 개에서 340만 개로 감소함
  • 오프로딩만 적용 시 처리량 1.19배, 라우팅만 적용 시 1.15배로 단독 적용보다 결합 시 효과가 큼
  • E2E 중앙값 지연 141.35초에서 48.42초, TTFT 중앙값 22.33초에서 10.26초로 개선됨

기술 구성 및 실험 결과

  • 실험 1(단일 노드): CPU/디스크 캐시 및 MP 방식 적용으로 GPU 캐시 대비 처리량 3.56배 향상, 재계산 입력 토큰 비율 81%에서 13.5%로 감소함
  • 실험 2(다중 파드): H100 80GB 2장 파드 6개에서 Round Robin 대비 EPP 라우팅 적용 시 처리량 1.87배 달성함
  • 실험 3(결합): A100 80GB 32장 파드 4개에서 EPP approximate + 오프로딩 결합 시 처리량 2.58배, TPOT 중앙값 224.91ms에서 65.48ms로 감소함

병목 분석 및 개선 사항

  • 디스크 읽기 시 O_DIRECT와 스레드 8개 적용으로 I/O 속도 2.6 GB/s에서 4.74 GB/s로 향상, NUMA 소켓 고정 시 복사 속도 1.90배 개선함
  • PCIe 배치 문제: NVMe와 특정 GPU(2, 3)가 동일한 PCIe 루트 포트 하위에 위치하여 반대 소켓 메모리 쓰기 시 GPU KV 복사 속도 최대 91% 감소함
  • EPP 라우팅 방식: approximate 방식이 인덱스 용량 확장으로 2.58배 달성, precise 방식은 CPU/디스크 상태 미반영으로 1.30배에 그침

이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.

AI 처리 방식을 확인하거나, 요약 오류와 출처 표기 문제, 삭제 요청을 문의 · 건의로 알려주세요.