vLLM, 최신 GPU 최적화 희생 없이 다양한 하드웨어 지원… '하드웨어 독립적' 레이어 도입

vLLM은 최신 GPU에서 성능을 높이기 위해 torch 컴파일 호환성을 깨는 'flat 모델'을 채택하고 있으나, 이는 구형 GPU나 외부(OOT) 가속기 사용자에게 유지보수 부담과 성능 저하를 초래할 수 있습니다. 이에 vLLM은 이러한 문제를 해결하기 위해 네 가지 원칙(컴파일 가능, 확장 가능, 이식 가능 등)을 갖춘 'HW-agnostic' 레이어를 도입했습니다. 이 레이어는 CustomOp과 PluggableLayer 같은 확장 기능을 유지하며, Triton이나 Helion 같은 이식성 높은 DSL을 사용합니다. NVIDIA H100 GPU에서 테스트한 결과, HW-agnostic 레이어는 CUDA 최적화 기반의 네이티브 구현 대비 토큰 처리량에서 3.4% 이내의 성능 차이를 보였으며, 일부 모델에서는 오히려 더 나은 성능을 기록했습니다. 현재 Gemma 4, Qwen 4.2 등 일부 모델에서 USE_HW_AGNOSTIC=1 환경 변수를 통해 사용 가능하며, 관련 기능은 계속 개발 중입니다.