AI BriefingHelion vLLM 백엔드, H100 일부 워크로드서 10% 이상 처리량 향상
Helion으로 고성능이면서 이식 가능한 vLLM 선형 백엔드 구축하기 | 파이토치 한국 사용자 모임
·2026.10.20 21:52
핵심 내용
Helion vLLM 백엔드가 H100 일부 워크로드에서 10% 이상 처리량 향상을 달성했다
자세히 보기
- vLLM에 통합된 Helion linear backend가 기본 백엔드 대비 일부 워크로드에서 10% 이상의 처리량 향상을 달성함
- NVIDIA H100 GPU에서 수행된 커널 레벨 벤치마크 결과, FP8_Dynamic은 CUTLASS 대비 기하평균 1.110x, W8A8_INT8은 CUTLASS 대비 1.178x, Block_FP8은 FlashInfer 대비 1.149x의 속도 향상이 확인됨
- Standard GEMM, Split-K, Swap-AB 알고리즘을 단일 구현으로 통합하여 AOT 오토튜너가 입력 형태별 최적 구성을 선택하도록 설계함
- 하이브리드 디스패치 전략을 적용하여 작은 토큰 수(num_tokens <= 32)는 CUDA Graphs 하에서 CPU 오버헤드를 제거하기 위해 Helion으로 라우팅하고, 큰 배치에는 CUTLASS/DeepGEMM으로 폴백함
- 현재는 사전 튜닝된 구성이 포함된 vLLM 포크(github.com/redhat-et/vllm-helion)를 통해 제공되며, 워크로드별 오토튜닝을 최종 사용자에게 위임하는 방안을 검토 중으로 업스트림 통합 전략은 검토 단계임
- AOT 튜닝 오버헤드(수 시간 소요)와 JIT 컴파일로 인한 콜드 스타트 지연이라는 트레이드오프가 존재하며, 캐싱 및 CUDA Graph 실행을 통해 완화함
이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.
