컴퓨터 사용(Computer use) 방식이 구조화된 API보다 45배 더 비싸다

AI 에이전트가 관리자 패널을 조작하는 두 가지 방식인 **비전 에이전트(Vision agent)**와 **API 에이전트(API agent)**의 성능 및 비용을 비교한 결과, 비전 방식이 API 방식보다 압도적으로 비효율적인 것으로 나타났다.

비전 에이전트는 browser-use를 통해 스크린샷을 찍고 클릭하며 UI를 조작한다. 반면 API 에이전트는 UI가 호출하는 HTTP 엔드포인트를 직접 호출하여 구조화된 데이터를 주고받는다.

실험 결과, 비전 에이전트는 페이지네이션(pagination)을 인식하지 못해 작업을 누락하거나, 작업을 완수하기 위해 매우 구체적인 UI 가이드라인이 필요했다. 이 과정에서 약 14분의 실행 시간과 50만 개에 달하는 입력 토큰이 소모되었다.

반면 API 에이전트는 단 8번의 호출만으로 작업을 완수했으며, 실행 결과가 매우 일정하고 결정론적(deterministic)이었다. 비전 방식은 실행할 때마다 소모되는 토큰과 시간이 크게 변하는 높은 변동성을 보였다.

많은 팀이 API를 구축하는 공수를 줄이기 위해 비전 에이전트를 선택하지만, 이는 실제로는 막대한 토큰 비용과 정교한 프롬프트 엔지니어링이라는 숨겨진 비용을 초래한다.