AI Briefing#optimizer
#optimizer와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#optimizer와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
새 옵티마이저 SkewAdam이 MoE 훈련 시 옵티마이저 상태 메모리를 50.6GB에서 1.29GB로 줄여 40GB GPU 한 장으로 6.78B MoE 학습을 가능하게 했다.
Token AI가 학습 안정성을 높이고 메모리 효율을 극대화한 새로운 옵티마이저 STAM을 발표했다.