#attention

#attention와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.

신규 커널 퓨징 기법이 B200에서 정규화 지연 90%를 숨기고 어텐션을 35% 가속했다

·2026.11.14 21시

Qwen3.8-Flash-Next가 1/9의 비용으로 기존 모델 대비 우수한 성능을 입증했다.

·2·2026.08.26 21시

FFN을 제거해도 예산을 재배분하면 Transformer 성능 격차가 거의 사라졌다.

·2·2026.08.11 09시

MSLK가 Attention·GEMM·MoE 커널 사용법을 한곳에 정리했다.

·2·2026.08.03 09시

고정 크기 온라인 메모리로 LLM 장기 기억 성능을 개선했다.

·2·2026.05.16 18시

선택형 계층적 attention으로 512K 컨텍스트에서 표준 attention보다 약 17배 빨랐다.

·2·2026.05.13 00시

Subquadratic가 SSA로 1200만 토큰 컨텍스트 윈도와 GPT-5.5를 넘는 MRCR v2 83점을 내세웠다.

·1·2026.05.06 09시

Transformers가 형식 언어를 더 간결하게 표현하며 검증은 EXPSPACE-완전임을 보였다.

·2026.05.05 05시

Sessa는 attention을 recurrent feedback path에 넣는 장기 컨텍스트용 decoder architecture다.

·2026.04.23 23시

Nova 2.0 Lite 기준, LoRA는 o_proj만 붙여도 효율·정확도 균형이 가장 좋았다.

·2026.03.19 23시