microduck_rl: 800g 이족보행 로봇의 물리 시뮬레이션과 실물 제어 정책 학습

800g 무게, 25cm 키의 소형 이족보행 로봇 Microduck을 위한 강화학습 환경을 제공한다. MuJoCo Warp 기반의 mjlab 프레임워크와 PPO 알고리즘을 활용해 평지 걷기, 넘어진 상태 복귀, 공 차기, 롤러 스케이트 등 다양한 동작 정책을 학습한다. 학습된 정책은 ONNX 형식으로 내보내져 실제 로봇의 런타임에서 즉시 구동된다.

시뮬레이션과 실물 간 격차를 줄이기 위해 Dynamixel XL330 서보의 전압 제어 법칙과 마찰 특성을 정밀하게 모델링한 BAM 액추에이터를 적용했다. 각 관절에 최대 2도의 기어 백래시를 시뮬레이션하고, 배터리 전압 강하 및 명령 지연까지 도메인 랜덤라이제이션으로 포함해 물리적 현실감을 높였다.

모든 정책은 61차원 관측 벡터를 공유하도록 설계되어, 런타임 중 걷기·일어서기·기술 동작 간에 정책을 핫스왑할 수 있다. GPU가 없다면 Hugging Face Jobs를 통해 클라우드에서 학습을 실행할 수 있으며, CPU 시뮬레이터에서 키보드로 정책을 직접 제어하며 검증할 수 있는 도구도 함께 제공한다.