DPO를 활용한 OCR 텍스트 퇴화 방지

기존의 SFT(Supervised Fine-Tuning) 방식은 정답을 학습하는 데 집중할 뿐, 모델이 반복 루프에 빠지는 텍스트 퇴화(Text Degeneration) 현상을 억제하는 데는 한계가 있습니다.

Dharma-AI의 연구에 따르면, SFT 이후 DPO(Direct Preference Optimization) 단계를 추가했을 때 모든 테스트 모델에서 퇴화 현상이 감소했으며, 평균 59.4%, 최대 **87.6%**의 감소율을 기록했습니다.

이러한 성과가 가능한 이유는 DPO의 학습 방식에 있습니다.

• 토큰 단위가 아닌 전체 출력 기준: SFT는 토큰별로 확률을 최적화하여 모델이 특정 토큰에 매몰되는 '어트랙터(Attractor)' 현상을 방치하지만, DPO는 전체 결과물을 '선택(Correct)' 또는 '거부(Rejected)'로 판단하여 구조적 실패를 직접 학습합니다.
• 실패 모드 완화 도구로서의 DPO: 기존 DPO가 주로 챗봇의 답변 정렬(Alignment)에 사용되었다면, 이번 연구는 OCR과 같은 객관적인 작업에서 모델의 특정 실패 모드를 교정하는 도구로 DPO를 활용할 수 있음을 증명했습니다.
• 자기 피드백 활용: 모델이 스스로 생성한 실패 사례(반복 루프 등)를 거부 쌍(Rejection Pairs)으로 사용하여 학습 신호를 생성합니다.