NVIDIA, 의료 로봇 Sim2Real 워크플로우

NVIDIA Isaac for Healthcare v0.4는 의료 로봇 개발자를 위해 데이터 수집, 학습, 평가를 통합한 엔드투엔드 파이프라인을 제공한다.

SO-ARM 스타터 워크플로우를 통해 의료 보조 로봇을 구축할 수 있으며, 주요 단계는 다음과 같다:

• 데이터 수집: LeRobot과 SO101을 사용하여 시뮬레이션 및 실제 환경의 텔레오퍼레이션 데이터를 수집한다.
• 모델 학습: 수집된 데이터를 바탕으로 GR00T N1.5 모델을 파인튜닝하며, 특히 학습 데이터의 93% 이상을 시뮬레이션에서 생성된 합성 데이터로 구성하여 데이터 부족 문제를 해결한다.
• 정책 배포: TensorRT로 모델을 변환하고 RTI DDS 통신을 통해 실제 하드웨어에 실시간 추론을 수행한다.

이 워크플로우는 시뮬레이션(IsaacLab)과 실제 하드웨어 간의 간극을 줄이는 Sim2Real 접근 방식을 채택하여, 의료 환경과 같은 고위험 분야에서 안전하고 반복 가능한 학습 환경을 제공한다.