ServiceNow, 엔터프라이즈 에이전트용 AutoSynthData 공개

ServiceNow CoreAI가 엔터프라이즈 에이전트용 합성 학습 데이터 생성 프레임워크 AutoSynthData를 공개했다. 이 시스템은 Target model의 실패 사례와 더 강력한 Teacher model의 성공 사례를 분석해 Capability Gaps를 식별하고, 이를 검증된 새로운 후처리(post-training) 과제로 변환한다.

메커니즘 및 파이프라인

에이전트 과제는 시스템 사양, 사용자 프롬프트, 검증자로 구성된다. 파이프라인은 다음과 같은 루프로 작동한다:

• 진단: Target model을 평가해 실패 패턴을 식별한다.
• 특성화: Teacher model을 사용해 성공적인 행동과 실현 가능성을 정의한다.
• 생성: 정제된 능력 사양 카드를 바탕으로 현실적이고 난이도가 적절하며 약점을 드러내는 새로운 과제를 생성한다.
• 검증: 유효한 솔루션은 허용하고 무효한 결과는 거부하는 양방향 검증으로 과제의 타당성을 확보한다.

품질 관리 및 커리큘럼

데이터 드리프트 방지와 난이도 조정을 위해 엄격한 품질 관리를 적용한다:

• 샘플 수준: Target model의 성공률이 1/3 이하이고 Teacher model의 성공률이 2/3 이상인 과제를 우선 선정한다.
• 배치 수준: 메타 리뷰 프로세스로 과대표집된 과제 유형을 모니터링하고 누락된 능력을 보완하도록 자원 배분을 조정한다.
• 커리큘럼: 모델 성능이 향상되면 학습 난이도를 높이고, 모델이 일관되게 해결하는 과제는 제외한다.

실험 결과

EnterpriseOps Gym 환경에서 Gemma-4-26B-A4B-it을 Target model로 사용해 실험을 진행했다.

Hybrid 환경

• Teacher Model: Qwen3.8-27B
• 데이터: 약 18시간 동안 2,000개의 합성 샘플 생성
• 결과: 평균 Pass@1이 7.2%p 상승(상대적 개선율 35%). 검증자 성공률은 **63.01%**에서 **68.55%**로 높아져 Target model과 Reference model 간 격차의 **59%**를 해소했다.

ITSM 환경

• Teacher Model: DeepSeek-V4.1-Flash
• 데이터: 66시간 동안 1,994개의 합성 샘플 생성
• 결과: 평균 Pass@1이 **18.77%**에서 **27.18%**로 증가해 다양한 엔터프라이즈 도메인에서 일관된 성능 개선을 입증했다.

현재 이 프레임워크는 **Supervised Fine-Tuning (SFT)**에 집중하지만, 난이도가 조정된 학습 신호를 제공해 강화 학습(Reinforcement Learning) 지원도 설계에 포함됐다.