AI Briefing#llm-training
#llm-training와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#llm-training와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
SAPO는 hard clipping 대신 smooth gating으로 LLM 강화학습을 안정화한다.
HuggingFace가 Transformers 라이브러리에서 Gradient Accumulation 시 손실 함수 계산이 수학적으로 부정확했던 문제를 수정했다.
Hugging Face의 분산 학습 프레임워크인 Accelerate가 1.0.0 버전 출시를 발표했다.
Hugging Face가 Flash Attention 2와 호환되는 패킹 기능을 도입하여 LLM 학습 효율을 최대 2배 높였다.
Hugging Face가 AWS Marketplace를 통해 Enterprise Hub를 구독할 수 있는 기능을 출시했다.
PyTorch FSDP를 활용해 Llama 2 70B 모델의 메모리 및 체크포인트 저장 문제를 해결하며 파인튜닝하는 방법을 다룬다.
HuggingFace가 공개한 파이썬 코드 생성 모델 CodeParrot의 데이터셋 구축 및 학습 방법론을 소개한다.