AI Briefing#ppo
#ppo와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#ppo와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
Apple의 8B RL 에이전트가 실제 iOS 앱에서 Gemini-3.5-Flash를 능가했다.
Alibaba QwenGyre 논문은 긴 에이전트 롤아웃으로 인한 on-policy 드리프트와 하네스 복잡성 문제를 제기했다.
기존 강화학습의 Open-Loop 문제를 해결하기 위해 정책 개선 성과를 직접 검증하는 PIRL 프레임워크를 제안한다.
Dale의 원칙을 따르면서도 Weight Transport 문제 없이 학습 가능한 새로운 신경망 학습 메커니즘을 제안했다.
SFT 단계의 높은 학습률과 RL에서의 Clipping 완화 전략으로 AIME 벤치마크 성능을 개선했다.
HuggingFace가 PPO보다 메모리 효율이 높고 속도가 빠른 새로운 RLHF 알고리즘인 RLOO 트레이너를 TRL에 도입했다.
OpenAI의 RLHF 코드를 재현하며 PPO 구현 시 주의해야 할 핵심 기술적 세부 사항을 정리했다.
Hugging Face가 TRL과 PEFT를 통합하여 소비자용 GPU에서도 20B 규모의 LLM RLHF 학습이 가능하도록 지원한다.