#adaw와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
새 옵티마이저 SkewAdam이 MoE 훈련 시 옵티마이저 상태 메모리를 50.6GB에서 1.29GB로 줄여 40GB GPU 한 장으로 6.78B MoE 학습을 가능하게 했다.
AI Briefing