Microsoft, 학생별 AI 튜터 검증 시뮬레이터 StudentSim 공개

Microsoft Research가 실제 학생의 응답 패턴과 오류 유형을 모방하는 시뮬레이터 StudentSim을 발표했습니다. 기존 LLM 기반 역할극의 한계를 극복하기 위해 제안된 StudentSim은 체스, L2 영작문, 수학 영역에서 GPT-5.4 등 대형 모델보다 학생의 행동을 더 정확하게 예측하는 것으로 나타났습니다.

StudentSim은 Qwen3-4B-Instruct를 기반으로 두 단계의 LoRA 미세조정을 거칩니다. 1단계에서는 여러 학생의 데이터를 학습해 영역별 공통 패턴을 익히고, 2단계에서는 특정 학생의 데이터로 추가 학습하여 개인화된 어댑터를 생성합니다. 평가 지표로는 학생의 실제 답과 일치하는 정도(F)와 튜터의 지도 후 정답으로 수정하는 정도(R)를 사용했습니다.

특히 튜터 강화학습 실험에서는 학생별 시뮬레이터가 아닌, 100명의 데이터를 학습한 공용 시뮬레이터를 보상 모델로 사용했습니다. 이 방식은 튜터가 특정 학생의 버릇에 과적합되지 않도록 돕는 설계입니다. 다만 수학 영역에서는 StudentSim의 F 점수(0.6384)가 항상 정답을 고르는 단순 기준선(0.706)보다 낮아, 단순 추측 대비 모델링 성능 우위를 확신하기 어렵다는 한계도 지적되었습니다.