AI 시대를 위한 마우스 포인터 재구상

Google이 Gemini를 바탕으로 포인터와 음성 입력을 결합한 AI-enabled pointer 실험을 공개했다.

핵심은 사용자가 별도 AI 창으로 옮겨갈 필요 없이, 지금 보고 있는 문서·이미지·웹페이지 위에서 바로 AI를 호출하게 만드는 것이다.

제시한 네 가지 원칙은 다음과 같다.

• Maintain the flow: PDF 요약, 표의 파이차트 변환, 레시피 재료 두 배처럼 현재 작업 흐름 안에서 바로 처리한다.
• Show and tell: 포인터 주변의 시각·의미 맥락을 함께 읽어, 문단·단어·이미지 일부·코드 블록처럼 사용자가 가리킨 대상을 정확히 이해한다.
• This and that: 짧은 지시와 제스처를 자연스럽게 결합해 복잡한 요청을 간단히 만든다.
• Pixels to actionable entities: 화면의 픽셀을 장소·날짜·객체 같은 실행 가능한 엔티티로 바꿔, 노트나 영상 장면을 바로 작업으로 연결한다.

Google은 이 기능을 Gemini in Chrome에 적용해, 웹페이지의 특정 부분을 가리키고 비교·요약·시각화 요청을 바로 할 수 있게 하겠다고 밝혔다. 또 Googlebook의 Magic Pointer와 Google Labs의 Disco 같은 제품에도 같은 접근을 확장할 계획이다. 사용자는 현재 Google AI Studio에서 이미지 편집과 지도 장소 찾기 데모를 체험할 수 있다.