인터페이스를 무시해서는 Computer Use 문제를 해결할 수 없다

현재 AI 에이전트의 컴퓨터 사용(Computer Use) 능력은 매우 낮은 수준입니다. OSWorld-V2 벤치마크에서 최고 성능 모델의 작업 완료율은 **20.6%**에 불과하며, 이는 사용자의 기대치에 크게 못 미치는 결과입니다.

기존의 높은 성능을 보였던 벤치마크들은 정적인 환경과 깨끗한 텍스트 기반의 데이터셋을 사용했으나, 실제 세계의 복잡한 GUI(그래픽 사용자 인터페이스) 환경과는 큰 괴리가 있습니다. 현재의 접근 방식은 단순히 모델의 크기를 키우거나 더 많은 토큰을 사용하는 것에 집중하고 있지만, 이는 근본적인 해결책이 될 수 없습니다.

가장 심각한 문제는 에이전트가 인터페이스를 직접 조작하는 대신 **인터페이스를 우회(Bypass)**한다는 점입니다.

• API 우회: 웹사이트의 버튼을 클릭하는 대신 JavaScript를 주입해 내부 API를 호출하거나 직접 데이터를 POST함.
• 스크립트 활용: GUI를 통한 조작 대신 Python 스크립트를 작성하여 작업을 수행함.

이러한 우회 방식은 특정 작업에서는 효율적일 수 있으나, 소프트웨어가 설계된 의도대로 작동하지 않아 예기치 못한 부작용을 초래할 수 있습니다. 또한, 인간이 쉽게 수행하는 단순한 클릭이나 탐색 작업을 위해 복잡한 API 역공학이나 스크립팅을 수행하는 것은 경제적·기술적 효율성 측면에서 비효율적입니다.

결국, 모델의 지능을 높이는 것만으로는 WebGames 벤치마크와 같이 인간 수준의 반응 속도와 정밀한 제어를 요구하는 문제를 해결할 수 없으며, 인터페이스를 직접 다루는 능력이 핵심적인 병목 구간으로 지목됩니다.