Apple, flow matching 모델 성능 향상 위한 'probe guidance' 기법 공개

Apple 연구진이 flow matching 모델의 성능을 높이는 새로운 기법 **'probe guidance'**를 공개했다. 이 방법은 기존 diffusion 모델의 **동결된 내부 상태(frozen internal states)**를 활용해 유도 신호를 구성한다.

기존의 autoguidance와 유사한 원리를 따르지만, 추론 시 추가적인 forward pass가 필요하지 않다. 또한 weak 모델과 strong 모델이 유사한 동역학을 공유하도록 보장하는 신뢰할 수 있는 경로를 제공한다.

주요 성과 및 발견

• 성능 향상: continuous diffusion language models에 적용했을 때, unconditional generation에서 새로운 state-of-the-art(SOTA) 성능을 달성했다.
• 벤치마크 개선: 1.7B 파라미터의 diffusion language model에 적용 시, 다중 선택 질문 답변(MCQA) 벤치마크에서 일관된 성능 향상을 보였다.
• 메커니즘 규명: traditional autoguidance 설정에서 strong 모델이 weak checkpoint일 경우, weak 모델은 학습의 저엔트로피(low-entropy) 영역에서 나와야 함을 발견했다. 이는 현재 잘 이해되지 않던 autoguidance의 실제 메커니즘을 밝히는 데 기여한다.