Second Look Research, Qwen 2.5 에이전틱 미스얼라인먼트 4%로 낮추는 SFT 결합법 공개

• 소설 기반 SDF와 어려운 조언 SFT를 결합하면 Qwen 2.5 32B 및 72B 베이스 모델의 에이전틱 미스얼라인먼트가 각각 61%, 69%였던 베이스라인 대비 4%로 감소함
• 어려운 조언 SFT 단독 사용 시 두 모델 크기 모두에서 6%의 미스얼라인먼트율을 기록하여 소설 기반 SDF보다 훨씬 효과적이며, 소설만 사용할 경우 32B는 43%, 72B는 63%로 감소함 (32B는 3,000 샘플/약 3M 토큰, 72B는 1,000 샘플/약 1M 토큰 사용)
• SFT 효과의 주요 동인은 티처 모델 선택이며, GPT-5.6 Terra 데이터만 SFT에 사용할 경우 Qwen 2.5 32B의 미스얼라인먼트를 21%로 낮추는 반면 Claude Sonnet 5 데이터는 44%로 낮춤
• 어려운 조언의 효과는 거절(refusal)이 아닌 응답 품질에서 비롯되며, 행동률을 통제할 때 거절 전용 데이터셋은 원래 조언 데이터보다 효과가 낮음

Methodology and Data Generation

• Claude Constitution의 16개 섹션을 기반으로 장르, 배경, 주인공 정체성을 변화시키는 속성 그리드를 활용해 소설 생성
• Anthropic의 6단계 프로세스를 확장한 9단계 파이프라인을 통해 거절이 아닌 윤리적 딜레마와 직접적인 조언에 초점을 맞춘 어려운 조언 데이터 생성
• LoRA(rank 64)를 사용하여 소설 SDF, 13K 샘플 지시 튜닝 믹스, 어려운 조언 SFT 순서로 학습 수행

Evaluation and Generalization

• 27개 조건(유해한 행동 3가지 x 목표 컨텍스트 9가지)을 갖춘 Anthropic Agentic Misalignment 벤치마크로 평가
• AI 어시스턴트 페르소나로 학습한 모델이 인간 이름으로 호칭된 모델보다 낮은 미스얼라인먼트율을 보임
• DeepSeek-V3.1, Qwen3.6-27B, Nemotron Ultra 550B 등 더 큰 오픈 모델로 결과가 일반화되며, 행동률을 통제할 때 GPT-5.6 Terra 데이터가 일반적으로 Claude Sonnet 5 데이터보다 우수한 성능을 보임