AI Briefing#sliding-window-attention
#sliding-window-attention와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#sliding-window-attention와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
시퀀스 길이에 따라 시간적 경로가 확장되는 Recurrent Looped Transformer(RLT) 아키텍처가 공개됐다.
Alexia Jolicoeur-Martineau 연구팀이 슬라이딩 윈도우 어텐션과 어텐션 싱크를 결합해 선형 어텐션을 대체하는 논문을 공개했다.