AI Briefing#transformer
#transformer와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#transformer와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
스탠퍼드 CS336 과정은 데이터 정제부터 Triton 기반 FlashAttention2 구현, DPO 정렬까지 LLM 개발 전 과정을 다룬다.
스탠퍼드 대학교가 트랜스포머 모델의 설계부터 학습, 평가까지 전 과정을 다루는 CS336 강의를 공개했다.
AI가 생성한 CUDA 커널이 정밀도 문제로 인해 실제 모델 학습 시 손실 함수를 발산시킬 수 있다는 연구 결과가 발표되었다.
모듈형 결합을 넘어 여러 모달리티를 통합 처리하는 네이티브 멀티모달 모델링(NMM)의 로드맵과 모델 목록을 제공한다.
Transformer의 문맥 확장 한계를 극복하기 위해 최근 정보를 fast weights로 압축하는 '수면' 메커니즘을 제안한다.
최신 오픈 웨이트 LLM들이 장문 컨텍스트 효율성을 위해 KV 캐시 압축과 어텐션 최적화 기법을 도입했다
Transformer 학습의 메모리 병목을 해결하기 위해 GEMM-Epilogue 방식을 사용하는 GPU 커널 추상화 CODA를 제안한다.
Transformer 학습의 메모리 병목을 해결하는 GPU 커널 추상화 CODA 공개됨
FFT 메커니즘을 Transformer에 통합하여 다양한 이미지 복원 작업의 효율성을 높인 SFHformer를 제안한다.
Orthrus는 frozen backbone을 유지한 채 Qwen3-8B 추론을 최대 7.8배 가속한다고 밝혔다.
Diffusion 모듈을 활용해 기존 Transformer의 정확도를 유지하며 토큰 생성 속도를 최대 7.8배 높인 Orthrus를 공개했다.
Amazon이 Chinchilla scaling law를 확장해 정확도 손실 없이 LLM 속도를 높이는 프레임워크를 제시했다.
Hessian·GGN 분석용 PyTorch 라이브러리가 v1.0.0a1로 재작성됐다.
초기 레이어의 표현을 토큰 및 헤드별로 선택적으로 재사용하여 효율성을 높인 SATFormer를 제안한다.
C++17로 만든 826,985개 파라미터 Transformer가 단일 CPU 코어에서 76.2분 만에 검증 손실 1.6371을 기록했다.
Meta가 10억 장의 인간 이미지로 학습한 Sapiens2 비전 모델군을 GitHub에 공개했다.