컴퓨터 사용(Computer Use) 기술 개발

Claude 3.5 Sonnet이 사용자의 명령에 따라 커서를 움직이고, 클릭하며, 가상 키보드로 정보를 입력하는 '컴퓨터 사용(Computer Use)' 기능을 선보였다. 현재 퍼블릭 베타로 제공되는 이 기술은 AI가 기존의 전용 도구를 넘어 일반적인 소프트웨어를 직접 조작할 수 있게 한다는 점에서 중요한 돌파구로 평가받는다.

이 기능은 화면 이미지를 해석하는 멀티모달(Multimodality) 능력과 특정 상황에서 어떤 동작을 수행할지 결정하는 추론 능력을 결합하여 구현되었다. 특히 모델이 정확한 위치를 클릭할 수 있도록 픽셀(Pixel) 단위의 이동 거리를 계산하는 훈련이 핵심적인 역할을 했다.

연구 결과, Claude는 계산기나 텍스트 에디터와 같은 간단한 소프트웨어 학습만으로도 높은 일반화 능력을 보였으며, 작업 중 오류가 발생하면 스스로 수정하고 재시도하는 모습도 관찰되었다.

성능 측면에서는 OSWorld 벤치마크에서 **14.9%**를 기록하며, 기존 차순위 모델(7.7%)보다 월등한 성능을 보였다. 다만 인간 수준(70~75%)에는 아직 미치지 못하는 단계다.

안전성 측면에서 이번 업데이트는 AI Safety Level 2를 유지하고 있다. Anthropic은 컴퓨터 사용 기능이 인지 능력을 근본적으로 높이기보다는 기존 능력을 활용하는 방식이므로, 현재의 안전 조치로 충분히 관리 가능하다는 판단을 내렸다.