AI Briefing#attention-mechanism
#attention-mechanism와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#attention-mechanism와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
Transformer의 Attention 메커니즘이 정보 처리 과정에서 실행 제어 능력이 부족함을 입증한 연구 결과입니다.
Transformer의 QKV 프로젝션을 공유하여 KV 캐시를 획기적으로 줄이는 연구 결과를 발표했다.
기존 LLA의 한계를 극복하고 FlashAttention과 대등한 성능을 보이는 Parallax 어텐션이 제안되었다.
기존 잔차 연결의 라우팅 붕괴 문제를 해결하여 LLM 성능을 높이는 Delta Attention Residuals가 공개되었다.
최신 오픈 웨이트 LLM들이 장문 컨텍스트 효율성을 위해 KV 캐시 압축과 어텐션 최적화 기법을 도입했다
KV Sharing, mHC, Compressed Attention 등 LLM 아키텍처 효율성을 높이는 최신 연구를 다룬다.
KV 헤드 수를 유지하며 쿼리 헤드를 확장해 추론 효율을 높인 Differential Transformer V2가 공개되었습니다.
모든 종류의 데이터를 처리할 수 있는 확장 가능한 멀티모달 모델 Perceiver IO가 Transformers 라이브러리에 추가되었다.
Reformer는 LSH 어텐션 등을 활용해 메모리 사용량을 최소화하며 최대 50만 토큰의 긴 시퀀스를 처리한다.