Mac 기반 분산 RL 학습 성공

Pluralis Research는 데이터센터 연결 없이 일반 인터넷과 Cloudflare R2만을 사용하여, 4개국에 분산된 14대의 소비자용 Mac을 통해 RL(강화학습) rollout을 생성하는 데 성공했다.

핵심 기술적 특징은 다음과 같다:

• MLX 기반 int8 추론: 각 Mac은 MLX를 통해 int8 양자화 추론을 수행하며, 단일 B200 GPU가 bf16 그래디언트 업데이트를 담당한다.
• PULSE 프레임워크: 모델 업데이트 시 전체 체크포인트 대신 **int8 가중치 델타(delta)**만 전송하여 데이터 전송량을 9GB에서 82MB로 획기적으로 줄였다.
• DPPO 스타일 확률 게이트: Rollout 모델과 Trainer 모델 간의 확률 편차가 큰 토큰을 제거하여 off-policy 문제를 방지한다.

실험 결과, PaperSearchQA 벤치마크에서 pass@1 성능이 29%에서 63%로, 도구 사용률(search rate)이 22%에서 84%로 크게 향상되었다. 이는 향후 대규모 모델의 추론과 학습을 소비자용 하드웨어로 분산시키는 기술적 토대를 제공한다.