Explorative Modeling: K개의 추측 중 최선으로 학습하기

생성 모델이 여러 정답을 가질 때 하나의 값을 직접 예측하면 가능한 결과들의 평균으로 수렴한다. 이미지에서는 흐릿한 평균 이미지가 나오고, 텍스트에서는 “the” 같은 빈약한 출력만 생성되는 이유다.

기존 autoregressive 모델과 diffusion 모델은 생성을 여러 단계로 나눠 각 단계의 정답을 단순화함으로써 이 문제를 해결한다. Explorative Modeling은 여기에 **탐색(exploration)**을 생성 모델의 세 번째 사전학습 축으로 추가한다.

구체적으로 모델이 한 번에 K개의 후보를 생성하고, 정답과 가장 가까운 후보를 기준으로 학습한다. 이를 통해 평균적인 단일 예측 대신 다양한 가능한 결과를 탐색하며, 기존 생성 모델에 결합하거나 end-to-end 생성 모델로 사용할 수 있다.

논문이 보고한 주요 결과는 다음과 같다.

• 이미지·비디오·언어 작업에서 탐색량을 늘릴수록 기존 모델 성능이 단조롭게 향상됐다.
• 데이터 규모에 따른 성능 개선 폭은 7%에서 36%, 파라미터 규모에 따른 개선 폭은 **13%에서 23%**로 커졌다.
• Explorative Models는 6.2배 높은 sample efficiency, 4.1배 높은 FLOP efficiency, 47% 향상된 parameter efficiency를 기록했다.
• 탐색을 활용하면 모델의 scaling generalization과 기존 모델의 end-to-end 확장도 가능해진다.
• end-to-end 생성 모델로서 control task에서 diffusion 모델과 동등한 수준의 성능을 내면서 최대 256배 적은 inference compute를 사용했다.