Google, XR 손동작 AI 공개

Google XR Labs 연구팀이 CHI 2026 학회에서 XR 헤드셋 사용자의 공간적 모호성을 해소하기 위해 LLM 응답과 동기화된 손동작을 수행하는 대화 에이전트 **'AgentHands'**를 공개했다.

핵심 기술: GestureEvent

기존 텍스트/음성 응답의 한계인 '정신적 매핑 간극'을 해결하기 위해, 백엔드 LLM이 텍스트 응답 생성 시 문장 내에 손동작 명령을 인라인으로 삽입하는 GestureEvent 방식을 채택했다. 헤드셋 파서가 이를 해석해 실제 물체 좌표로 손동작을 스케줄링하며, 별도 모델 없이 언어 모델이 생성한 단어 단위 타임스탬프에 맞춰 제스처를 동기화한다.

성능 개선 효과

12명을 대상으로 한 비교 실험에서 음성만 사용하는 베이스라인 대비 유의미한 성능 향상을 보였다.

• 물체 찾기 용이성: 7점 척도 평균 4.58에서 6.50으로 상승 (p < 0.05)
• 특정 부위 식별 용이성: 4.00에서 6.00으로 상승 (p < 0.05)
• 기억 난이도(역문항): 3.50에서 2.17로 감소 (p < 0.01)

형성 연구 및 설계 원칙

전문가 10명과의 형성 연구를 통해 텍스트/음성만으로 부족한 5가지 상황(공간 중의성, 동작 시연, 개념 표상, 정밀도, 사회적 신호)과 체화된 에이전트가 갖춰야 할 3가지 속성(시간적 동기성 등)을 도출하여 시스템 설계에 반영했다.