AI Briefing#sparse-attention
#sparse-attention와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#sparse-attention와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
Percepta가 지능과 메모리를 분리해 접근 비용 증가 없이 메모리를 확장하는 Spotlight 아키텍처를 공개했다.
언어 모델이 사고 과정 중 주의가 필요한 영역을 스스로 선언해 연산 비용을 최대 52% 줄이는 'Declarative Attention' 기법이 공개됐다.
GLM-5.3 모델이 HF Viewer에서 시각화되었으며, 아키텍처는 GLM-5.2와 동일하지만 학습 개선을 통해 성능이 향상된 것으로 확인됐다.
SGLang Diffusion 팀이 NVIDIA H200 8대에서 MiniMax-H3 영상 생성 모델을 Cache-DiT와 SubBlock 희소 어텐션으로 최대 6.24배 가속화했다.
CalibAtt는 비디오 생성 모델의 어텐션 연산 중 불필요한 연결을 식별하여 속도를 최대 1.58배 높이는 기술이다.
O(1) 복잡도를 지향하는 새로운 희소 주의 집중(Sparse Attention) 아키텍처 DWARF의 베이스 모델이 공개되었습니다.
Hopper 및 Blackwell GPU에서 MiniMax Sparse Attention(MSA)을 효율적으로 학습할 수 있는 오픈소스 커널을 공개했다.
MiniMax M3는 Sparse Attention 기술을 통해 긴 문맥에서도 비용과 연산량을 획기적으로 줄여 장기 실행 에이전트 구현을 가능하게 한다.
MiniMax가 백만 토큰 이상의 긴 컨텍스트 처리를 지원하는 Sparse Attention 기술인 MSA를 공개했다.
MiniMax가 대규모 문맥 처리를 위해 연산 효율을 극대화한 새로운 희소 어텐션 기술인 MSA를 발표했습니다.
MiniMax가 100만 토큰 컨텍스트와 멀티모달 기능을 갖춘 M3 모델을 출시하고 10일 내 가중치를 공개한다.
중국 미니맥스가 혁신적인 MSA 아키텍처를 통해 성능과 가성비를 모두 잡은 멀티모달 모델 M3를 출시했다.
MiniMax가 새로운 sparse attention 메커니즘을 도입해 long-context 응답 속도를 15.6배 높인 M3 모델을 예고했다.
수백 번의 짧은 학습만으로 Full Attention LLM을 고효율 Sparse 모델로 변환하는 RTPurbo 기술이 공개되었다.
Qwen2.5-Turbo가 컨텍스트 길이를 100만 토큰으로 확장하고 추론 속도와 비용 효율성을 대폭 개선했다.