humans&, GPU 가속 Weight Teleportation으로 RL 학습 병목 해결

• humans&가 GPU 가속 Weight Teleportation을 출시함. 손실 없는 GPU 압축 방식으로 대규모 RL 학습의 가중치 동기화 병목을 해결하며, 클러스터 내 P2P RDMA보다 우수한 성능을 보임.
• Ampersand 프로덕션 RL 환경에서 샘플러 일시 정지 시간을 0.23초 미만, 전체 가중치 동기화 시간을 4초 미만으로 단축함. Blackwell Decompression Engine(DE) 파이프라인이 완전히 포화 상태에 도달함.
• NVFP4 GLM-5.3 모델의 페이로드를 2.65GB로 줄이는 이중 압축 전략(Snappy + Zstd)을 적용함. 이는 LZ4 단독 사용 시의 5.36GB 베이스라인 대비 감소한 수치임.
• 비트 단위 XOR 델타 업데이트와 분산 GPU 압축을 통해 디스크 왕복 없이 희소(sparse) RL 업데이트를 처리함. 장애 허용 및 체크포인트 재개와 같은 사용 사례를 지원함.

기술 구현

• RL 학습 신호의 희소성 덕분에 압축 효율이 높은 희소 마스크를 생성하기 위해 비트 단위 XOR 연산을 활용한 델타 업데이트를 사용함.
• GPU 친화적인 내부 코덱(Snappy 또는 LZ4)에 외부 Zstd 압축을 적용하는 큐레이션된 이중 압축 알고리즘을 통해 페이로드 크기를 최소화하고 높은 압축 해제 처리량을 유지함.
• 고정 기능 DE와 SM 연산을 이중 버퍼 소프트웨어 파이프라인으로 오버랩하여 HBM에서 전체 모델 압축 해제 출력 버퍼가 필요 없도록 설계함.

성능 및 호환성

• 64-GPU 트레이너 설정에서 최종 'Teleporter' 구성은 트레이너 준비/압축 시간 0.789초, 수신자 준비 시간 2.355초를 달성함.
• 가중치를 연속 비트 버퍼로 취급하여 저정밀도 RL 호환성을 유지함. NVFP4 가중치는 BF16 대비 3.6배 작은 저장 공간으로 소규모 고정밀도 업데이트를 흡수함.
• 전체 모델 대신 작은 압축 델타를 전송하여 추론 서빙을 단순화하며, 델타 적용 후 리소스를 해제하기 위한 opt-in release_state 인자를 지원함.