Jane Street 및 NVIDIA, Mamba-2 cuTile 커널 공개, B300에서 최대 1.82배 가속

Jane Street 및 NVIDIA, Mamba-2 순전파를 Triton보다 최대 1.82배 빠르게 구현한 cuTile 커널 공개

·2026.10.26 20:00

핵심 내용

B300 GPU에서 Mamba-2 순전파 속도를 최대 1.82배 높인 cuTile 커널이 공개됐다.

1 / 6

Jane Street와 NVIDIA가 Mamba-2 순전파를 cuTile Python 커널 3개로 구현해 NVIDIA B300에서 Triton 대비 1.14~1.82배 빠른 성능을 달성함
상태 크기가 클수록 성능 격차가 확대되어 16K 토큰 기준 상태 512에서 1.82배, 상태 64에서 1.39배 향상됨
TileGym 저장소에 mamba2_chunk_forward 및 역전파 커널 mamba2_chunk_backward를 MIT 라이선스로 공개함
Blackwell 아키텍처 최적화를 위해 지연 시간 힌트, A/B 피연산자 교환, 전역 메모리 배치 변경, 오토튜너 적용
커널 단위 순전파 벤치마크이며 역전파 및 전체 학습 속도 향상은 미측정 상태임
PyPI tilegym 1.5.1부터 사용 가능하며 CUDA 13.1+ 및 Python 3.10~3.14 환경 요구