Asana, GPT-6.1 Sol로 브라우저 에이전트 비용 76배 절감 및 속도 5배 향상

Asana가 GPT-6.1 Sol을 활용해 브라우저 에이전트 워크플로우를 최적화하며 모델 비용을 76배 절감하고 속도를 5배 향상시켰다. Asana는 고객들의 비즈니스 애플리케이션 자동화를 위해 인수한 플랫폼 StackAI의 비효율성을 파악하기 위해 Codex에서 GPT-6 Astra를 사용했다. 최적화된 워크플로우의 평균 비용은 $0.47, 소요 시간은 약 4분으로, 기존 Model B 설정의 최소 $36.21과 22.5분 대비 대폭 개선됐다.

GPT-6 Astra로 비효율성 식별

Asana StackAI CTO Frank Hidalgo 박사는 GPT-6 Astra에 브라우저 에이전트 코드베이스 조사를 지시했다. 이 에이전트는 고정 지침과 도구 정의는 캐싱되지만, 페이지 텍스트와 스크린샷의 누적 이력은 매 요청마다 전체 가격으로 재전송된다는 사실을 발견했다. 또한 에이전트가 거의 모든 단계에서 이전 스크린샷을 삭제하고 텍스트를 잘라내면서 효과적인 캐싱이 방해받았고, 이미 읽은 페이지를 다시 방문해야 하는 상황이 발생했다.

캐싱 및 히스토리 예산 최적화

Hidalgo는 테스트용으로 세 가지 수정 사항을 선택했다. 브라우징 이력 캐싱 확장, 유지 텍스트 양 증가, 그리고 매 단계마다 스크린샷을 제거하는 대신 일괄 처리하는 방식이다. GPT-6 Astra는 병렬 워크플로우를 지원하도록 코드를 리팩터링했으며, GPT-6.1 Sol과 기타 세 가지 프런티어 모델(Model A, B, C)을 포함한 네 가지 모델에 걸쳐 전체 연구를 수행했다. 가장 성능이 좋은 정책은 스크린샷을 20개까지 축적한 후 가장 최근 것으로 되돌리는 방식과 480,000자의 더 큰 히스토리 예산을 결합한 것이었다.

비용 및 성능 결과

최적화는 Model B의 추정 모델 비용을 런당 최소 $36.21에서 $1.24로 29배 절감했다. GPT-6.1 Sol 기반의 최적화된 워크플로우는 런당 $0.47로, Model B 대비 2.6배 더 저렴했다. GPT-6.1 Sol 단독으로 새로운 캐싱 정책은 비용을 $1.97에서 $0.47로 4배 줄였으며, 입력의 **89%**가 캐시에서 제공되어 캐시되지 않은 가격의 5% 비용으로 처리됐다. 최적화된 워크플로우의 모든 실행은 작업을 완료하고 정답을 반환했다.

에이전트 신뢰성 및 개발에 미치는 영향

GPT-6.1 Sol의 히스토리 예산을 늘리자 신뢰성이 크게 향상됐다. 예산이 작을 때는 18번의 실행 중 3번만 답변을 생성했지만, 예산을 늘린 후에는 18번 모두 정답을 생성했다. Asana는 이러한 변경 사항을 StackAI의 브라우저 내비게이션에 배포했으며, 출시 전 제품 기능을 테스트하기 위해 GPT-6 Astra를 사용하고 있다. 이를 통해 병목 현상을 출시 속도에서 인간의 주의력으로 전환하는 것을 목표로 한다.