#linear-attention

#linear-attention와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.

Muir가 32K 컨텍스트에서 Splash Attention보다 2.7배 빠르게 학습했다

·1·2026.11.07 04시

PACE는 4비트 양자화에서도 8비트와 동등한 성능을 달성했다

·1·2026.10.23 14시

30B급 MoE 구조의 Raon-1 mini 프리뷰가 아파치 2.0 라이선스로 공개됐다.

·1·2026.10.21 14시

DeltaNet을 포함한 다양한 선형 어텐션 변형 모델들의 수학적 구조와 작동 원리를 분석한다.

·2026.07.29 08시

Nvidia가 하이브리드 어텐션 기술을 통해 고해상도 롱폼 비디오 생성을 가속화하는 SANA-Video 2.0을 발표했다.

·1·2026.07.27 09시

선형 어텐션의 압축 과정에서 발생하는 정보 손실을 방지하기 위해 해마 구조를 도입한 HOLA 모델이 공개되었습니다.

·1·2026.07.07 12시

Qwen이 TileLang 기반 FlashQLA로 linear attention을 최대 3배까지 가속했다.

·2026.04.29 21시

FlashQLA는 GDN Chunked Prefill을 CP·fused kernel로 최적화해 FLA Triton 대비 최대 3배 빨라졌다.

·2026.04.28 11시

Moonshot이 FlashKDA를 공개했고, H20에서 Triton 대비 최대 2.22배 빨라졌다.

·1·2026.04.22 09시