DeepGEMM: H800에서 1550 TFLOPS 찍는 LLM 전용 CUDA 커널

DeepSeek이 공개한 통합 CUDA 커널 라이브러리로, 대형 언어모델의 핵심 연산을 하나의 코드베이스로 묶었다. FP8, FP4, BF16 기반 GEMM과 MoE 통신 오버랩, MQA 스코어링 등 복잡한 연산 원시를 단일 인터페이스로 제공한다.

설치 시 CUDA 컴파일이 필요 없는 DeepJIT 방식을 채택해 배포 부담을 줄였다. CUTLASS의 복잡한 템플릿 의존성을 걷어내고 핵심 커널만 남겨 GPU 최적화 기법을 학습하거나 커스텀 연산을 구현하기에 깔끔한 구조를 갖췄다.

Mega MoE 기능은 분산 환경에서 NVLink 통신과 텐서 코어 연산을 동시에 수행하도록 설계됐다. EP 디스패치, 선형 변환, SwiGLU 활성화 함수를 하나의 메가 커널로 융합해 병목 현상을 최소화한다.

SM90과 SM100 아키텍처를 지원하며, H800 기준 최대 1550 TFLOPS 성능을 기록한다. 전문가가 튜닝한 라이브러리에 맞먹거나 능가하는 처리 속도를 보장해, 대규모 추론 및 학습 파이프라인의 효율을 높인다.