Skild AI, NVIDIA 물리 AI 기반 'S1' 공개… 단일 영상으로 로봇 장기 작업 학습

Skild AI가 NVIDIA의 물리 AI 인프라를 기반으로 한 로봇 파운데이션 모델 S1을 공개했다. S1은 가중치 업데이트나 태스크별 후처리(post-training) 없이, 작업자가 촬영한 단일 영상을 프롬프트로 제공하면 로봇이 의도와 객체, 순서를 해석해 동작으로 매핑하는 in-context learning 방식을 사용한다.

학습 방식 및 성능

S1은 사전 학습 데이터에 없는 낯선 작업도 수행할 수 있으며, 최대 10분 지속되는 수십 단계의 장기(long-horizon) 작업을 처리한다. 식물 화분 심기 테스트에서는 영상 녹화부터 하드웨어 자율 실행까지 11분이 소요되었으며, 객체 이동 시 조정과 오류 복구가 가능했다.

벤치마크 결과, 새로운 다단계 작업에서 S1의 단계별 성공률은 약 **66%**로 유사 AI 시스템(9%) 대비 7배 이상 개선되었다. 짧은 영상 1개가 약 380개의 실제 훈련 예제와 동일한 효과를 내는 것으로 추정된다.

NVIDIA 기술 스택 활용

Skild AI는 데이터 생성부터 배포까지 전 과정에서 NVIDIA와 협력했다. 주요 활용 기술은 다음과 같다:

• NVIDIA Cosmos: 학습 데이터 다양화 및 영상을 구조화된 설명으로 변환
• Isaac Lab & Newton: 물리 파라미터를 정확히 모델링하여 시뮬레이션-현실 격차(sim-to-real gap) 감소
• Omniverse & Isaac Sim: 물리 기반 가상 환경에서 엣지 케이스 테스트 및 행동 검증
• TensorRT SDK: 추론 최적화를 통한 빠른 로봇 반응 지원

사업 현황 및 적용 사례

Skild AI는 첫 상용 배포 후 10개월 만에 연매출(run rate) 1억 달러를 달성했으며, 제조, 물류, 보안 등 분야에서 60개 이상의 파트너십을 체결했다. 특히 Foxconn과 협력하여 NVIDIA Blackwell 시스템의 고정밀 조립 작업에 Skild Brain을 배포했으며, 버스바 설치 및 나사 체결 등 복잡한 다단계 작업을 수행했다.