AI Briefing커널 퓨징, B200에서 정규화 지연 90% 숨기고 어텐션 35% 가속
비용 없는 정규화를 향해: 정규화를 GEMM과 어텐션 커널에 융합하기 | 파이토치 한국 사용자 모임
·2026.11.14 21:52
핵심 내용
신규 커널 퓨징 기법이 B200에서 정규화 지연 90%를 숨기고 어텐션을 35% 가속했다
자세히 보기
- Lazy Pre-Norm과 Multi-CTA Norm Fusion 등 새로운 커널 퓨징 전략을 제시하여 메모리 바운드 정규화 커널의 메모리 I/O 오버헤드를 줄임
- GEMM과 퓨징하여 정규화 커널 지연 시간의 최대 90%를 숨김. 이는 Meta의 Kunlun 아키텍처 학습 지연 시간의 약 20%, 일반 LLM의 약 10%를 차지하는 병목 현상을 해결함
- FlashNormAttention 알고리즘이 사전 및 사후 정규화를 단일 GDPA 커널로 퓨징하여 CTA 클러스터, 분산 공유 메모리, Tensor Memory(TMEM) 재사용을 활용해 최대 35%의 커널 속도 향상을 달성함
- Meta 데이터센터의 NVIDIA B200 GPU에서 bfloat16 데이터를 사용하여 벤치마크를 수행했으며, 광고 모델링 워크로드에서 상당한 성능 향상을 보임
이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.
