쇼핑봇도 훈련한다

RLVE를 단일 턴 추론 문제에서 멀티턴, 툴-어그먼트 e-commerce 대화로 확장했다.

• 8개 환경: product discovery, substitution, cart building, returns, order tracking, policy QA, bundle planning, multi-intent journey
• 12축 난이도 커리큘럼: 제약 수, 누락 정보, distractor 비율, 재고 변경, 턴 예산, 노이즈, retrieval depth, 정책 복잡도 등을 함께 조절
• 보상은 전부 algorithmically verifiable하게 계산: task reward, efficiency reward, hallucination penalty
• 잘못된 JSON, 불법 tool call 같은 invalid output은 즉시 실패 처리

핵심 데모는 Cart Building (E_CART). 제품 검색, variant 선택, 장바구니 추가, clarification dialogue를 모두 거치며, 정답은 (product_id, variant_id, qty) 단위로 검증한다. 제품은 카테고리별로 USB-C / Lightning 같은 자연스러운 변형을 합성해 난도를 높였다.

훈련 결과도 제시했다. Qwen 3 8B를 DAPO로 300 step 학습했고, C1 ⊂ C2 ⊂ C4 ⊂ C8 형태의 환경 확장과 adaptive scheduling이 안정적인 학습 신호를 만든다고 보고했다. 사용자 시뮬레이터는 Qwen3.5 9.7B를 사용했다.