AI Briefing#attention-mechanism
#attention-mechanism와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#attention-mechanism와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
Causal Grassmann 레이어가 Wikitext-2에서 Transformer와 10-15% 이내 퍼플렉시티를 달성했다.
토큰 수와 무관한 고정 크기의 이중 연상 메모리를 활용해 장문 컨텍스트를 처리하는 LLM 아키텍처 WarpState가 공개됐다.
새로운 연구는 트랜스포머 스택에서 어텐션 메커니즘의 배치 순서보다 다양한 메커니즘의 조합(특히 SSM 포함)이 성능에 더 큰 영향을 미친다고 입증했다.
VDN-H3가 MiniMax H3에 하이브리드 어텐션을 적용해 영상 생성 속도를 최대 74배 높였으나 한국은 라이선스 제한으로 사용 불가하다.
언어 모델이 사고 과정 중 주의가 필요한 영역을 스스로 선언해 연산 비용을 최대 52% 줄이는 'Declarative Attention' 기법이 공개됐다.
새 연구에서 슬라이딩 윈도우 어텐션이 장문 추론 벤치마크에서 선형 어텐션보다 2~10배 높은 성능을 기록해 후처리 필요성을 제기했다.
Alexia Jolicoeur-Martineau 연구팀이 슬라이딩 윈도우 어텐션과 어텐션 싱크를 결합해 선형 어텐션을 대체하는 논문을 공개했다.
SDPA의 $O(N^2)$ 복잡도를 $O(N ext{√}N)$으로 개선한 새로운 어텐션 메커니즘 SSOG가 공개되었습니다.
국내 스타트업이 학습 데이터와 코드를 모두 공개한 완전 오픈소스 파운데이션 모델 Aether-7B-5Attn을 발표했다.
NVIDIA Blackwell GPU에서 Flash Attention v2 대비 최대 3.5배 빠른 블록 대각 어텐션 커널을 구현했다.
LG AI 연구원이 HLA와 펩타이드 간의 상호작용을 효과적으로 예측하는 새로운 Conditional Attention 메커니즘 기반 AI 모델을 개발했다.
MoBA 어텐션 마스크와 증류 기술을 통해 장기 생성 시 발생하는 드리프트 문제를 해결한 LingBot World 모델이 공개되었습니다.
Qwen 팀이 어텐션 헤드 단위로 FA와 LA를 결합해 긴 문맥 처리 성능을 높인 HydraHead 아키텍처를 발표했다.
Attention sinks와 Representation collapse가 Attention 자체의 문제가 아닌, Norm-blind한 유사도 측정 방식에서 기인함을 증명함.