Apple 연구: 이산 확산 모델의 신뢰도 샘플링, 토큰 의존성으로 학습 분포와 29배 차이

Apple 연구진이 이산 확산 모델에서 신뢰도 기반 샘플링의 한계를 규명했다. remasking 및 uniform-state 샘플러 같은 이산 확산 모델은 각 단계에서 여러 토큰 위치를 기록하며, 각 위치의 분포를 기반으로 기록할 위치를 결정한다. 그러나 픽셀, 음소, 단어 등에서는 토큰 간 내재적 의존성이 존재한다.

이론적 한계

연구에 따르면, 샘플링 단계가 학습 분포와 일치하려면 이미 고정된 토큰을 조건으로 할 때 기록되는 위치들이 조건부 독립이어야 한다. 의존적인 토큰 그룹은 개별 위치 분포의 곱으로 표현할 수 없으며, 개별 위치 분포만으로는 그룹의 의존성을 판단할 수 없다. 두 결합 분포가 동일한 개별 위치 한계 분포를 가지면서도 값의 조합이 다를 수 있기 때문이다.

ScanAndAdd 실험 결과

ScanAndAdd 합성 작업에서 저자들은 신뢰도 순위로 선택된 2개 이상의 미결정 위치 그룹이 모두 의존적임을 확인했다. 생성된 분포의 총 변차(Total Variation)는 샘플링 노이즈 하한의 29배로 측정됐다. 개별 샘플 지표는 1.0으로 유지되지만 이러한 분포 오차가 지속되어, 표준 평가 방식으로는 근본적인 분포 불일치를 놓칠 수 있음을 시사한다.