TRL, VLM 정렬 기술 지원 확대

HuggingFace의 TRL(Transformer Reinforcement Learning) 라이브러리가 Vision Language Model(VLM)의 성능을 극대화하기 위한 최신 정렬(Alignment) 기술들을 업데이트했다.

이번 업데이트는 기존 DPO(Direct Preference Optimization)의 한계를 넘어, 더 풍부한 신호를 추출하고 확장성을 높이는 데 집중했다.

• MPO (Mixed Preference Optimization): DPO의 선호도 손실, BCO의 품질 손실, SFT의 생성 손실을 결합하여 VLM의 추론 능력을 개선한다.
• GRPO 및 GSPO: 그룹 기반 정책 최적화 방식으로, 최신 VLM 환경에서 더 나은 확장성을 제공한다.
• RLOO 및 Online DPO: 더욱 효율적이고 확장 가능한 멀티모달 정렬을 지원한다.

또한, VLM을 위한 네이티브 SFT(Supervised Fine-tuning) 지원과 vLLM 통합 기능이 추가되어, 개발자들이 최신 멀티모달 모델을 더욱 쉽고 빠르게 학습시키고 배포할 수 있도록 돕는다.