DPO, IPO, KTO 선호도 정렬 방법론 비교

DPO, IPO, KTO 등 주요 LLM 선호도 정렬 알고리즘의 성능과 특성을 비교 분석했다.

강화학습(RL) 없이 LLM을 정렬하는 세 가지 주요 알고리즘인 DPO, IPO, KTO의 성능과 특성을 비교 분석했다.

주요 방법론 비교:

DPO (Direct Preference Optimization): 선호도 데이터를 직접 최적화하는 단순한 손실 함수를 사용하며 구현이 쉽지만, 데이터셋에 빠르게 **과적합(overfitting)**되는 경향이 있다.
IPO (Identity Preference Optimisation): DPO에 정규화 항을 추가하여 과적합을 방지하고, 별도의 기법 없이도 모델을 안정적으로 수렴시킨다.
KTO (Kahneman-Tversky Optimisation): 쌍을 이룬(paired) 데이터가 아닌, 개별 데이터의 '좋음/나쁨' 라벨만으로 학습이 가능하다. 이는 데이터 구축 비용을 절감할 수 있어 실무 환경에 유리하다.

실험 결과, 참조 모델의 가중치를 결정하는 하이퍼파라미터 $eta$ 값이 성능에 매우 중요한 역할을 하는 것으로 확인되었다. 또한, TRL 라이브러리 내 IPO 구현 오류(loss summation 방식)를 수정하여 논문과 일치하는 성능을 확보했다.