AI Briefing#flash-attention
#flash-attention와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#flash-attention와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
llama.cpp Vulkan FA 커널이 Intel Arc prefill 성능을 최대 1530% 향상시켰다
Tang 프로젝트가 IR 기반 커널로 80B MoE 디코드를 5~12% 가속했다
llama.cpp가 F16C 인트린직을 활용한 벡터화로 프롬프트 처리 속도를 최대 31% 향상시켰습니다.
VIDRAFT 팀이 A10G에서 품질을 유지하며 Gemma 추론 속도를 510.58 TPS까지 끌어올렸다.
llama.cpp가 Intel SYCL 환경에서 Flash Attention 지원 및 Qwen 모델 추론 속도 향상 업데이트를 반영했습니다.
Hopper 및 Blackwell GPU에서 MiniMax Sparse Attention(MSA)을 효율적으로 학습할 수 있는 오픈소스 커널을 공개했다.
카네기 멜론 대학교의 강의를 기반으로 Blackwell 아키텍처 최적화 기법을 다루는 GPU 프로그래밍 가이드가 공개되었습니다.
MiniMax가 백만 토큰 이상의 긴 컨텍스트 처리를 지원하는 Sparse Attention 기술인 MSA를 공개했다.
스탠퍼드 CS336 과정은 데이터 정제부터 Triton 기반 FlashAttention2 구현, DPO 정렬까지 LLM 개발 전 과정을 다룬다.
기존 LLA의 한계를 극복하고 FlashAttention과 대등한 성능을 보이는 Parallax 어텐션이 제안되었다.
llama.cpp가 Flash Attention 사용 시 KQ 마스크를 f16으로 처리하여 VRAM 사용량을 줄이는 업데이트를 반영했다.
llama.cpp에서 Flash Attention 시 f16 마스크를 사용하여 VRAM 사용량을 줄이는 최적화가 이루어졌습니다.
llama.cpp b9158 버전에서 AMD RDNA3 GPU를 위한 Flash Attention 수정 사항이 반영되었습니다.
리벨리온이 FlashAttention 등을 NPU에 최적화하여 vLLM과 호환되는 고효율 LLM 서빙 기술을 공개했다.
Hugging Face가 최적화된 연산 커널을 쉽게 불러와 모델 성능을 높일 수 있는 Kernel Hub를 공개했다.