AI Briefing#training-efficiency
#training-efficiency와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#training-efficiency와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
CoWA와 MALA가 128K 토큰에서 최대 8.6배 어텐션 속도 향상을 달성하며 FullAttn과 유사한 성능을 유지했다.
픽셀 공간 기반의 인코더-디코더 구조를 채택한 JiT-DDT 아키텍처가 Linum v2 대비 GPU 사용량을 3.6배 줄이면서 더 빠른 수렴과 개선된 이미지 품질을 달성했다.
GPU 메모리 효율을 높이기 위해 3개의 레이어 상태를 교차 관리하는 새로운 학습 기법을 제안한다.
Transformer 학습의 메모리 병목을 해결하는 GPU 커널 추상화 CODA 공개됨
Token AI가 학습 안정성을 높이고 메모리 효율을 극대화한 새로운 옵티마이저 STAM을 발표했다.