AI Briefing#self-attention
#self-attention와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#self-attention와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
AI 번역이 일상화된 배경과 LLM의 Decoder-Only 구조가 기존 NMT와 다른 점을 분석했다.
Self-Attention 가중치를 분해해 추가 학습 없이 diffusion 편집 방향을 찾았다.
Nyström 방법을 활용해 Transformer의 self-attention 복잡도를 $O(n^2)$에서 $O(n)$으로 줄이는 Nyströmformer를 소개한다.