AI BriefingFlashMask-3, H100 어텐션 처리량 45-141% 향상
[Paper] FlashMask-3: Efficient and Expressive Mask-Aware Distributed Attention
·2026.10.20 23:02
핵심 내용
FlashMask-3가 H100에서 처리량을 1.80x-3.71x 향상했다
자세히 보기
- FlashMask-3는 3역할 워프 특화 구조와 제로 통신 마스크 로컬라이제이션, 희소성 인지 로드 밸런서(HCC-IPO)를 갖춘 분산 확장을 도입함
- 단일 H100에서 4K-128K 컨텍스트, 12개 마스크 환경에서 FlashMask 대비 45-141%, FlexAttention 대비 34-71%, MagiAttention 대비 2-44%의 TFLOPs 성능 향상 달성함
- 컨텍스트 병렬도 4-32, 디바이스당 8K 시퀀스 환경에서 31-75%의 연산-통신 오버랩 효율을 기록하며, Megatron-Core CP 링 대비 1.80x-3.71x, CP 올게더 대비 1.71x-2.92x의 처리량 개선함
- 128개 H100 GPU에서 128K 컨텍스트로 118B-A14B MoE 모델을 엔드투엔드 학습할 때, Dual Chunk 올게더 베이스라인 대비 처리량이 7.3-11.0% 증가하고 어텐션 포워드+백워드가 24.5-44.9% 빨라짐
Technical Implementation
- 키 위치 인덱싱과 쿼리 축 구간 경계 저장을 결합한 컬럼 단위 스파스 마스크를 사용해, 랭크별 마스크 로컬라이제이션을 증명 가능한 제로 통신 클립-시프트-맥스 연산으로 축소함
- 마스크 기반 통신 프루닝을 적용한 마스크 인지 연산-통신 오버랩을 구현하며, 포워드 올게더는 토폴로지 인지 계층적 라우팅을 사용함
- FlashAttention-3의 TMA/WGMMA 파이프라인을 기반으로 Hopper GPU 기능을 활용하며, 기존 Ampere 전용 구현의 한계를 해결함
이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.