Qwen, Taobao와 협력해 장기 운영 능력 평가하는 'E-Commerce Bench' 공개

Qwen 팀이 Taobao & Tmall Group과 협력하여 AI 에이전트의 장기적인 비즈니스 운영 능력을 평가하는 E-Commerce Bench를 공개했다. 기존 벤치마크가 명확한 종료 지점이 있는 단기 작업에 집중했던 반면, 이 벤치마크는 자연스러운 종료 지점이 없는 실제 비즈니스 환경에서의 지속적 의사결정 능력을 측정한다.

1년간의 시뮬레이션과 제한된 자원

에이전트는 초기 자본 10만 위안을 가지고 365일 동안 여러 온라인 매장을 운영한다. 하루는 오전 8시부터 오후 6시까지 600분으로 제한되며, 모든 도구 호출에는 시간이 소모된다. 예를 들어 잔액 조회는 10분, 매장 개설은 60분이 필요하다. 이러한 시간 예산 제약 하에서 에이전트는 카테고리 조사, 공급업체 협상, 가격 책정, 재고 및 현금 흐름 관리를 수행해야 한다.

실제 Taobao 데이터 기반의 결정적 환경

벤치마크의 신뢰성을 위해 Taobao & Tmall 플랫폼의 실제 데이터를 기반으로 한 결정적(Deterministic) 환경을 구축했다.

• 실제 시장 데이터: 60개 카테고리, 6,886개 제품, 576개 공급업체, 12가지 매장 유형이 포함되며, 10개의 시장 이벤트와 8개의 프로모션이 연중 일정에 고정되어 있다.
• 3계정 정산 시스템: 비용은 즉시 은행 계좌에서 차감되지만, 수익은 배송 후 커미션 차감, 플랫폼 에스크로 대기(9일), 수동 인출 과정을 거쳐야 현금화된다.
• 재고 및 배송: 재고에는 일일 보관료가 부과되며, 배송 속도에 따라 비용이 달라진다. 2일 내 발송되지 않은 주문은 취소된다.
• 평판 및 반품: 반품률은 카테고리 기준, 공급업체 결함, 가격 설정, 배송 속도 등에 따라 결정된다. 평판은 수요에 직접적인 영향을 미치며, 낮은 평판은 트래픽을 15%까지 감소시킨다.

수요 모델과 협상 커널

모델 간 성능 차이를 명확히 하기 위해 수요와 공급업체 행동은 랜덤 샘플링이 아닌 명명된 인자(기본 수요, 가격 반응, 주말, 프로모션, 계절성 등)를 통해 계산된다. 이를 통해 벤치마크의 재현성과 변별력을 확보했다.