16개 오픈소스 RL 라이브러리 비교 분석

동기식 강화학습(Synchronous RL)은 데이터 생성(Inference) 단계가 학습 단계보다 훨씬 오래 걸려 GPU가 유휴 상태로 머무는 병목 현상이 발생한다. 이를 해결하기 위해 추론과 학습을 분리하여 GPU 풀을 별도로 운영하고, 롤아웃 버퍼(Rollout Buffer)를 통해 데이터를 전달하며 가중치를 비동기적으로 전송하는 비동기(Asynchronous) 아키텍처가 표준으로 자리 잡고 있다.

HuggingFace는 16개의 오픈소스 라이브러리를 대상으로 오케스트레이션, 버퍼 설계, 가중치 동기화 프로토콜, Staleness 관리, LoRA 지원, 분산 학습 백엔드 등 7가지 축을 기준으로 비교 분석을 수행했다.

주요 분석 결과는 다음과 같다:

• Ray가 조사 대상 라이브러리의 절반(8/16)에서 사용되며 오케스트레이션 도구로 압도적인 점유율을 보였다.
• 가중치 전송에는 NCCL broadcast가 기본 방식으로 사용된다.
• Staleness management(데이터 신선도 관리)는 오래된 샘플을 단순히 버리는 방식부터 중요도 샘플링(Importance-sampling) 보정을 사용하는 방식까지 다양하게 구현되어 있다.
• LoRA 지원은 아직 드물며, 분산 MoE(Mixture of Experts) 지원 여부가 차세대 라이브러리의 핵심 차별화 요소로 부상하고 있다.