AI 튜터, 언제 도와야 하나

Allen Institute for AI가 TutorMoments를 공개했다. 실제 수학 과외 대화에서 AI 튜터가 학생에게 바로 도움을 줄지, 스스로 사고하도록 기다릴지 판단하는 능력을 평가하는 replay 기반 프레임워크다.

• 미국 2~7학년 학생의 일대일 수학 과외 대화 462건을 활용했다.
• 교사 27명이 1,500개 이상의 핵심 판단 순간을 표시하고 자유 서술형 주석을 작성했다.
• 결정 지점까지의 대화를 LLM 튜터에 제공하고, 다른 LLM이 학생 역할을 맡아 시뮬레이션한다.

평가 결과, 모델은 단순히 “잘 가르치라”는 지시만 받으면 학생의 사고를 촉진하기보다 풀이 과정과 답에 지나치게 많은 도움을 주는 경향을 보였다. 도움을 줄 때와 물러설 때의 균형을 프롬프트에 명시하면 성능이 개선되지만, 학생 상황에 맞춰 일관되게 대응하는 인간 교사 수준에는 미치지 못했다.

연구팀은 비식별화된 TutorMoments-Preview 데이터셋, replay 파이프라인 코드, 평가한 모델 튜터의 재현 결과를 함께 공개했다.