AI Briefing#trl
#trl와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#trl와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
OpenEnv가 AAIF 프로젝트로 합류하고 v0.10.0이 출시되어 에이전트 학습 환경 개발이 중립 재단 하에서 진행됐다.
TRL v1.14가 NCCL 대신 스토리지 버킷과 프록시를 활용해 LoRA 어댑터를 동기화하는 Async GRPO 기능을 공개했다.
TRL과 OpenEnv를 활용해 인간 미적 취향을 보상 함수로 학습한 수채화 생성 코딩 모델의 오픈 소스 재현 프로젝트가 공개됐다.
TRL 라이브러리에 변경된 가중치만 전송하는 Delta Weight Sync 기능을 추가하여 RL 학습 시 대역폭 소모를 획기적으로 줄였다.
Hugging Face가 포스트 트레이닝 라이브러리인 TRL의 1.0 버전을 정식 출시하며 안정성과 확장성을 강화했다.
Hugging Face TRL이 RapidFire AI와 통합되어 미세 조정 실험 속도를 최대 20배 높였다.
HuggingFace가 DeepSeek-R1의 학습 파이프라인과 데이터셋을 재현하는 Open-R1 프로젝트의 첫 번째 업데이트를 발표했다.
Hugging Face가 Flash Attention 2와 호환되는 패킹 기능을 도입하여 LLM 학습 효율을 최대 2배 높였다.
HuggingFace의 TRL 라이브러리가 시각 언어 모델(VLM)을 위한 직접 선호도 최적화(DPO) 기능을 지원한다.
HuggingFace가 PPO보다 메모리 효율이 높고 속도가 빠른 새로운 RLHF 알고리즘인 RLOO 트레이너를 TRL에 도입했다.
HuggingFace의 TRL 라이브러리가 DDPO를 지원하여 Stable Diffusion 모델의 RLHF 미세 조정을 가능하게 한다.
RLHF의 복잡성을 해결하는 DPO 방식을 통해 Llama 2를 효율적으로 미세 조정하는 방법을 설명한다.
Hugging Face가 RLHF를 활용해 LLaMA를 학습시키는 StackLLaMA 모델과 가이드를 공개했다.
Hugging Face가 TRL과 PEFT를 통합하여 소비자용 GPU에서도 20B 규모의 LLM RLHF 학습이 가능하도록 지원한다.