텍스트 전용 웹 제어 도구 공개

시각 처리 능력 없이 텍스트 전용 AI 모델로 실제 웹 브라우저를 제어할 수 있는 도구 Web Draw가 공개되었다. 기존 브라우저 자동화 도구는 스크린샷 분석을 전제하여 시각 모델이 필요하거나 토큰 비용이 높았으나, 이 도구는 페이지를 텍스트 기반으로 렌더링하여 이러한 제약을 제거한다.

핵심 작동 원리 및 특징

• 텍스트 기반 렌더링: 웹 페이지의 모든 컨트롤에 안정적인 핸들(e18, e29 등)을 부여하여 텍스트로 변환한다. 모델은 '관찰-핸들 조작-재관찰' 루프를 통해 작업을 수행한다.
• 소형 모델 지원: 7B 또는 8B 크기의 텍스트 전용 모델도 충분히 사용할 수 있도록 설계되었다. Amazon 검색 페이지는 약 750토큰, 결제 페이지는 약 550토큰으로 압축되어 효율적이다.
• 모호성 제거: 소형 모델의 오류를 줄이기 위해 겹쳐진 요소는 클릭 대신 플래그로 표시하고, 모호한 타겟은 후보 목록을 반환하며, 폼 제출 실패 시 페이지의 실제 응답을 보고한다.
• 보안 및 배포: 사용자의 기존 브라우저와 로그인 정보를 그대로 사용하며, 통신은 127.0.0.1로 제한된다. 무료이며 계정이 필요 없고, Chrome 웹 스토어와 MCP(Model Context Protocol) 설정을 통해 이용할 수 있다.