Rust 기반의 안전한 GPU 추론 엔진 cuTile 공개

NVIDIA Labs에서 개발한 cuTile Rust는 Rust의 소유권(Ownership) 및 빌려오기(Borrow checking) 메커니즘을 GPU 커널 작성에 도입하여, 컴파일 단계에서 메모리 안전성과 데이터 경합(Data-race) 부재를 검증할 수 있는 프로그래밍 모델을 제공합니다.

주요 특징은 다음과 같습니다:

• 안전한 커널 생성: Tile-based 프로그래밍 모델을 통해 CUDA Tile IR로 변환되며, 컴파일러가 스레드 블록 간의 메모리 접근을 안전하게 관리합니다.
• 고성능 추론 엔진 Grout: cuTile Rust를 기반으로 구축된 Qwen3 추론 엔진으로, RTX 5090(Qwen3-4B)에서 171 tok/s, B200(Qwen3-32B)에서 82 tok/s를 기록하며 vLLM 및 SGLang과 대등한 성능을 보여줍니다.
• 성능 효율성: 안전한 GEMM 커널은 B200 기준 수동으로 작성된 저수준 버전 대비 99.7% 수준의 성능을 내며, 요소별(Element-wise) 연산은 약 7 TB/s의 처리량을 달성합니다.

이 기술은 향후 AI 모델을 위한 커널 자동 생성(Kernel Synthesis) 시, 검증 가능한 안전한 타겟을 제공하는 것을 목표로 합니다.