[ACL 2024] LLM 연구의 최신 트렌드와 주요 인사이트 - LG AI Research BLOG

생성형 AI의 발전과 함께 **LLM(Large Language Model)**의 한계를 보완하고, 신뢰할 수 있는 모델을 개발하기 위한 연구가 활발히 진행되고 있다. 특히 LLM이 생성한 텍스트를 어떻게 평가할 것인가에 대한 논의가 핵심이다.

기존의 N-gram 기반 방식(BLEU, ROUGE)은 텍스트 변형에 취약하고 의미적 정보를 담지 못하는 한계가 있다. 이를 보완하기 위해 BERTScore와 같은 임베딩 기반 방식이 등장했으나, 여전히 맥락 파악에는 한계가 존재한다.

최근에는 인간의 피드백을 통해 보상 모델을 학습하는 RLHF 방식과, LLM이 직접 평가 주체가 되는 LLM-as-a-judge 방식이 주목받고 있다. MT-Bench는 대표적인 LLM-judge 방법론으로, 확장성과 설명 가능성이 높지만 모델의 편향(Bias) 문제가 발생할 수 있다.

LG AI연구원은 이 분야의 성과로 두 가지 주요 연구를 소개했다.

• Prometheus 2: Pairwise Ranking과 Direct Assessment를 동시에 활용하여 GPT-4 및 인간의 선호도와 높은 상관관계를 보이는 평가 전용 모델.
• Multi-Objective Reward Modeling: 다양한 목적(Objective)에서도 인간의 선호도를 잘 반영하도록 설계된 보상 모델 연구.