NVIDIA XR AI를 활용한 AR 글래스 및 XR 디바이스용 AI 에이전트 구축하기

AR 글래스 및 웨어러블 디바이스 개발자들은 실시간 카메라/마이크 스트림 통합, 멀티모달 AI 모델 연결, 기업 데이터 연동 등 복잡한 인프라 구축에 어려움을 겪어왔다. NVIDIA XR AI는 이러한 문제를 해결하기 위해 XR 디바이스를 클라우드, 데이터 센터, 엣지 기반의 GPU 가속 AI 서비스와 연결하는 재사용 가능한 기반을 제공한다.

현재 베타 버전으로 공개된 이 오픈 소스 라이브러리를 사용하면 사용자의 시각 정보를 이해하고, 음성이나 텍스트 의도를 파악하며, 기업용 도구를 호출하는 지능형 XR 에이전트를 구축할 수 있다. 이는 현장 서비스, 제조, 의료, 교육 등 손을 자유롭게 사용하기 어려운 환경에서 작업자에게 실시간 가이드와 정보를 제공하는 데 최적화되어 있다.

NVIDIA XR AI의 핵심 아키텍처는 다음과 같은 구성 요소의 모듈식 결합으로 이루어진다:

• NVIDIA Cosmos: 시각적 접지(Visual Grounding)를 통한 환경 이해
• NVIDIA Nemotron: 언어 이해, 추론 및 도구 호출(Tool Calling)
• Model Context Protocol (MCP): 기업용 도구 및 데이터 소스 연결
• NVIDIA NeMo Agent Toolkit: 모델과 도구 간의 워크플로우 오케스트레이션
• NVIDIA CloudXR: 풍부한 3D 상호작용을 위한 공간 콘텐츠 렌더링

이 아키텍처는 미디어 전송, 모델 서비스, 도구 액세스 등을 분리하여 설계되었다. 비디오 픽셀은 공유 메모리에 유지하고 가벼운 메타데이터만 시스템을 통해 이동시키므로, 불필요한 모델 추론과 데이터 이동을 줄여 효율성을 극대화한다. 또한 멀티 유저 및 멀티 에이전트 시나리오를 지원하여 하나의 기반 위에서 다양한 디바이스와 클라이언트를 유연하게 확장할 수 있다.