마이크로소프트, 사용자 시뮬레이션용 UserRepGen-4B 공개

마이크로소프트가 멀티턴 대화에서 구조화된 사용자 표현을 생성하도록 파인튜닝한 Qwen3.5-4B 기반 언어 모델 UserRepGen-4B를 공개했다.

시뮬레이션에서의 역할

UserLM-8b와 UserLM-2.0처럼 사용자 발화를 직접 생성하는 기존 모델과 달리, UserRepGen-4B는 작업 설명과 행동 설명을 포함한 **표현(representations)**을 생성한다. 이 출력은 별도의 LLM 기반 사용자 시뮬레이터를 조건화하는 용도로 사용되며, 모델 자체는 사용자 작업을 수행하거나 시뮬레이터 역할을 하지 않는다.

학습 및 추론

이 모델은 시뮬레이션된 행동과 원본 사용자 행동 비교 피드백을 활용한 **후견 증류(hindsight distillation)**를 통해 온라인 지도 파인튜닝으로 학습됐다. 추론 시에는 원본 대화에서 표현을 직접 생성하므로, 시뮬레이션 롤아웃이나 후견 피드백이 필요 없다.