AI Briefing#hyperparameter-optimization
#hyperparameter-optimization와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#hyperparameter-optimization와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
Baron et al.은 10^29 FLOPs에서 Chinchilla 대비 7,000배 큰 모델을 제안했다.
Catalyst 프로젝트가 단일 미분 업데이트로 50개 하이퍼파라미터를 조정해 unseen seed에서 평균 27.8% 성능 개선을 달성했다.
LLM은 단독 최적화보다 전통적인 알고리즘과 결합했을 때 하이퍼파라미터 최적화 성능이 극대화됨을 입증했다.
VLM과 통계적 검증을 활용해 Diffusion 모델의 최적 파인튜닝 설정을 찾아주는 오픈소스 도구 'Bracket'이 공개되었습니다.
Hugging Face Transformers 라이브러리에 Ray Tune이 통합되어 고도화된 하이퍼파라미터 최적화가 가능해졌다.