AI BriefingJSSA 스파스 어텐션, NVIDIA B200에서 6.43배 속도 향상
[Paper] Joint Subspace Sparse Attention for Efficient Long-Context Decoding
·2026.10.29 17:08
핵심 내용
JSSA가 B200 GPU에서 6.43배 디코딩 처리량을 달성했다
자세히 보기
- Joint Subspace Sparse Attention(JSSA)는 공유된 저차원 쿼리-키 부분공간을 학습해 랭킹 정확도를 유지하며 토큰 단위 선택 문제를 해결함
- NVIDIA B200 GPU에서 128K 컨텍스트 기준 풀-KV 어텐션 대비 최대 6.43배의 디코딩 처리량 달성
- 표준 그룹드 쿼리 어텐션(GQA) 레이아웃에서 KV 헤드별 개별 선택을 지원하는 가더-프리 토큰 레벨 인덱스드 어텐션 커널 활용
- 모델 학습 없이 700B 규모에서 모델 네이티브 DSA 디코딩 처리량의 96~99% 달성
- 표준 GQA, 하이브리드 슬라이딩 윈도우/글로벌 어텐션, 멀티헤드 잠재 어텐션(MLA) 모델에서 일관된 성능 입증
- 경쟁 스파스 어텐션 방식에서 관찰된 생성 길이 증가 및 아키텍처 의존적 실패 회피
이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.
