Ant Group, vLLM 커뮤니티와 고성능 양자화 추론 라이브러리 Humming 공개

• Ant Group과 vLLM 커뮤니티가 NVIDIA Turing 이후 아키텍처 및 T-Head Zhenwu 810E를 지원하는 오픈소스 양자화 추론 커널 라이브러리 Humming을 공개함
• 8x H20 GPU 환경에서 DeepSeek-V4.1-Flash를 대상으로 Marlin W4A16에서 Humming W4A8로 전환 시 처리량이 14~43% 향상되고 첫 토큰 지연 시간(TTFT)이 25~32% 단축됨
• 대부분의 대표 워크로드에서 vLLM Marlin, FlashInfer, DeepGEMM보다 우수한 성능을 보이며, H20에서 W8A8 기준 DeepGEMM 대비 2.6배, H200에서 W4A8 기준 4.5배 속도 향상을 달성함
• 통합 양자화 표현과 JIT 컴파일을 활용한 범용 아키텍처를 적용하여 커널 컴파일 시간을 CUTLASS + NVCC의 23.35초 대비 1.82초로 단축함

Architecture and Performance

• 통합 양자화 표현을 통해 다양한 내보내기 형식을 표준 Humming 형식으로 변환하되, 양자화 의미를 유지하면서 가중치 형식, 스케일링 그레인, 데이터 타입을 매개변수화함
• NVRTC 또는 NVCC를 사용하여 커널을 온디맨드 컴파일하고 캐싱을 통해 재사용하며, 단일 레이어 GEMM 커널의 컴파일 및 로딩에 약 2~4초 소요됨
• Blackwell Tensor Cores에서 네이티브 마이크로스케일링 형식(MXFP8, MXFP4)을 지원하여 단일 커널 프레임워크 내에서 W8A8, W4A8, W4A4를 처리함

Integration and Availability

• PyTorch 2.7+가 요구되는 경량 휠(약 500 KB)로 pip install humming-kernels을 통해 설치 가능함
• vLLM 0.29.0+의 CUDA 설치 의존성으로 통합되었으며, --linear-backend humming 및 --moe-backend humming 옵션을 사용할 수 있음
• 향후 Rubin 아키텍처, T-Head PPU 지원 및 특정 워크로드를 위한 오토튜닝을 계획함