PROOF-Gen: 최적화된 데이터로부터 더 나은 증류로

도구 호출 능력을 배포 가능한 모델로 증류할 때, 기존 방식은 교사가 생성한 성공적인 궤적만 남기고 실패한 경우를 폐기하는 '생성-필터링' 메커니즘을 사용했습니다. 이로 인해 매번 동일한 어려운 시나리오에서 실패 신호가 사라지는 문제가 발생했습니다.

Apple은 이를 해결하기 위해 PROOF-Gen(Per-scenario Reflective Optimization to Overcome Failed Generation)을 도입했습니다. 이 방법은 실패한 각 시나리오에 대해 리플렉터가 실행 추적과 평가 피드백을 분석하여 교사가 성공적인 궤적을 생성하도록 유도하는 수정 지침을 작성합니다. 학습 시에는 이 지침이 제거되어 학생 모델이 특정 작업용 스캐폴드 없이 깨끗한 데모에서 학습합니다.

τ²-bench 기준에서 PROOF-Gen은 실패한 시나리오의 **93%**를 복구하는 성과를 거뒀습니다. 이를 통해 Qwen3-4B-Instruct-2507의 Pass^1 점수는 0.132에서 0.529로 향상되었으며, Gemma 4 E4B-it은 BFCL v4 멀티턴에서 7.2%p 상승했습니다.

실제 배포 파이프라인에서는 목표 완료율이 6.3%p 개선되었고, 온디바이스 모델에도 긍정적인 전이 효과가 나타났습니다. 비영어권 평균에서도 1.48%p의 성능 향상이 확인되었습니다.