LG AI Research 391

최근 대규모 언어 모델(LLM)은 방대한 데이터를 통해 놀라운 성능 향상을 보여주었으나, 전문가의 직접적인 데이터가 필요한 지도 미세 조정(SFT) 방식은 성능 개선에 한계가 있다. 이를 극복하기 위해 인간 또는 AI의 피드백을 활용하는 RLHF(Reinforcement Learning from Human Feedback)와 RLAIF(Reinforcement Learning from AI Feedback) 연구가 활발히 진행되고 있다.

기존 RLHF는 보상 모델(Reward Model)을 먼저 학습시킨 뒤, 이를 바탕으로 PPO(Proximal Policy Optimization)와 같은 알고리즘을 통해 정책(Policy)을 학습하는 두 단계의 표준 과정을 거친다. 하지만 이 방식은 학습 과정이 불안정하고 성능 개선이 쉽지 않다는 단점이 있다.

최근 NeurIPS 2023에서 주목받은 두 가지 주요 연구는 다음과 같다.

• DPO (Direct Preference Optimization): 스탠퍼드 대학교에서 제안한 방법론으로, 보상 모델을 별도로 학습하지 않고 선호도 데이터로부터 직접 정책을 학습한다. 수학적 증명을 통해 기존 RLHF와 동등한 최적 정책을 얻을 수 있는 단일 최적화 문제를 제안했으며, 감성 생성 및 요약 등 다양한 벤치마크에서 더 안정적이고 높은 성능을 입증했다.

• Fine-Grained RLHF: 워싱턴 대학교에서 제안한 방법론으로, 단순히 답변의 선호도만 비교하던 기존 방식에서 벗어나 성능 개선이 필요한 지표를 명확히 정의하고 더 세밀한(Fine-grained) 인간 피드백을 활용한다. 이를 통해 개인마다 다른 선호도 차이에서 오는 노이즈를 줄이고, 다양한 지표에 대해 더욱 효과적인 학습 신호를 제공한다.