Tang 프로젝트, IR 기반 GPU 커널로 80B MoE 디코드 시간 512%…

Tang 프로젝트는 수동 커널 작성 대신 IR 기반 컴파일러를 활용해 모노이드 리덕션과 아핀 맵 같은 리라이팅으로 스케줄을 유도하고, 다양한 하드웨어 타겟에 맞는 커널을 생성함
H200 GPU에서 80B MoE 모델(Qwen3-Coder-Next)의 디코드 스텝 시간을 16~48개 동시 스트림 환경에서 5~12% 단축했으나, 1개와 4개 배치와 같은 낮은 배치 크기에서는 수동 작성 커널보다 느림
프리필 성능이 향상되어 44k 토큰의 TTFT(Time to First Token)가 8.33초에서 5.54초로 3분의 1 줄었으며, vLLM은 여전히 엔진의 베이스라인보다 약 12배 빠름
유도된 어텐션 커널은 일관되게 빠르지 않으며, RTX 3090에서 카우셜 포워드 패스 시 FlashAttention-2보다 최대 150배 느리고, H200에서는 포워드와 백워드 패스 모두에서 FlashAttention-3보다 열세
Qwen3-8B에서 148.7 tok/s의 디코드 속도로 llama.cpp와 동급의 성능을 보였으나, 48 스트림에서 99% 정확도 기준을 충족하지 못해 98.93%를 기록했으며, 이는 RMSNorm의 수치 불안정성과 관련되어 스플릿 그라누라리티를 늘려 해결함
Brascamp-Lieb 부등식을 활용한 Speed-of-light 분석 결과, 유도된 커널은 이론적 시간 하한선에 도달하지 못하는 경우가 많으며, H200의 중앙값 하한선 도달률은 0.38로 나타남
시스템은 하나의 그래프를 WGSL, CUDA, Metal, OpenCL, GLSL, C 등 여러 타겟으로 낮추며, 데이터센터 GPU부터 스마트폰급 SoC까지 다양한 하드웨어를 지원함

Tang 프로젝트, IR 기반 GPU 커널로 80B MoE 디코드 시간 5~12% 단축

핵심 내용

자세히 보기

관련 추천