NVIDIA Blackwell 최적화 TLX Block Attention 공개

TLX Block Attention은 NVIDIA Blackwell GPU를 타겟으로 설계된 Triton 기반 커널로, 컴파일 시점에 블록 대각(block-diagonal) 어텐션 패턴을 활용해 알고리즘적 오버헤드를 제거한다.

주요 성능 지표(NVIDIA B200 기준)는 다음과 같다:

• 순전파(Forward): Flash Attention v2 대비 약 1.85배 향상
• 역전파(Backward): Flash Attention v2 대비 약 2.50배 향상
• 융합 연산: 회전 임베딩(Rotary Embedding)을 에필로그에 융합할 경우 역전파 속도가 약 3.5배 향상

이 커널은 **TLX(Triton Language Extensions)**를 기반으로 구축되었으며, 이를 통해 워프 특화(warp specialization), 비동기 텐서 코어 연산, 메모리 계층 관리 등 하드웨어 네이티브 제어를 지원한다. 이는 기존 Triton의 높은 생산성과 CUDA/CUTLASS 수준의 세밀한 하드웨어 제어 사이의 간극을 메워준다.