AI Briefing#rlhf
#rlhf와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#rlhf와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
OpenAI는 인간의 피드백 없이도 모델의 안전성을 효율적으로 개선할 수 있는 Rule-Based Rewards(RBR) 방식을 도입했다.
HuggingFace가 PPO보다 메모리 효율이 높고 속도가 빠른 새로운 RLHF 알고리즘인 RLOO 트레이너를 TRL에 도입했다.
LangSmith가 LLM 답변 간의 우열을 직접 비교하여 인간의 선호도를 더 정확히 측정하는 Pairwise Evaluation 기능을 출시했다.
AI21이 Invisible Technologies와 기업용 AI 모델 개선 파트너십을 맺었다.
OpenAI의 RLHF 코드를 재현하며 PPO 구현 시 주의해야 할 핵심 기술적 세부 사항을 정리했다.
HuggingFace의 TRL 라이브러리가 DDPO를 지원하여 Stable Diffusion 모델의 RLHF 미세 조정을 가능하게 한다.
RLHF의 복잡성을 해결하는 DPO 방식을 통해 Llama 2를 효율적으로 미세 조정하는 방법을 설명한다.
Meta의 오픈 소스 LLM인 Llama 2가 출시되었으며, Hugging Face를 통해 모델 및 다양한 도구와 통합되어 제공된다.
Hugging Face가 LLM의 데이터 라벨링 신뢰성을 검증하기 위해 Open LLM Leaderboard의 평가 방식을 확장했다.
Hugging Face가 RLHF를 활용해 LLaMA를 학습시키는 StackLLaMA 모델과 가이드를 공개했다.
Hugging Face가 TRL과 PEFT를 통합하여 소비자용 GPU에서도 20B 규모의 LLM RLHF 학습이 가능하도록 지원한다.