TRL, vLLM Co-location 지원

GRPO와 같은 온라인 학습 알고리즘은 모델이 직접 답변을 생성하며 학습하므로, 생성 단계가 전체 학습 루프의 주요 병목이 된다.

기존 TRL 방식은 vLLM을 별도의 서버 모드로 운영하여 학습용 GPU와 추론용 GPU를 분리했다. 이로 인해 학습 중에는 추론 GPU가, 추론 중에는 학습 GPU가 유휴 상태가 되는 '핑퐁(ping-pong)' 현상이 발생하여 자원 낭비와 비용 증가를 초래했다.

새롭게 도입된 Co-location 기능은 vLLM을 학습 코드와 동일한 분산 프로세스 그룹 내에서 실행한다. 이를 통해 다음과 같은 이점을 제공한다:

• 통합 실행: 학습과 추론이 동일한 GPU를 공유하며 효율적으로 교대 작업 수행
• 통신 오버헤드 제거: HTTP API 호출 없이 인라인으로 실행되어 지연 시간 감소
• 확장성 지원: torchrun과 호환되며, 텐서 병렬화(TP) 및 데이터 병렬화(DP) 지원
• 배포 단순화: 별도의 서버 스크립트 관리 없이 학습 작업 내에서 직접 제어

이 업데이트를 통해 GRPO와 같은 고부하 온라인 학습 환경에서 추가 하드웨어 없이도 높은 처리량(Throughput)을 확보할 수 있게 되었다.