[ACL 2024] LLM 연구의 최신 트렌드와 핵심 인사이트 - LG AI Research 블로그

생성형 AI의 발전으로 LLM이 다양한 문제를 해결하고 있지만, 동시에 환각 현상(Hallucination)과 윤리적 문제, 악의적 공격과 같은 한계도 드러내고 있다. 이에 따라 더 나은 데이터를 학습하는 방법과 LLM의 성능을 평가하는 정교한 방법론에 대한 연구가 활발히 진행 중이다.

특히 텍스트 생성의 품질을 평가하는 방식은 기존의 통계 기반 N-gram(BLEU, ROUGE) 방식에서, 문맥적 의미를 파악하는 BERTScore와 같은 임베딩 기반 방식으로 진화해 왔다. 최근에는 인간의 피드백을 활용해 보상 모델을 학습시키는 RLHF 기법이 주목받고 있다.

LG AI Research는 ACL 2024에서 다음과 같은 혁신적인 연구를 선보였다.

• Multi-Objective Reward Modeling: 다양한 관점에서 응답을 평가하고 인간의 선호도를 정교하게 반영하기 위해 회귀 및 게이팅 레이어를 추가한 보상 모델 연구.
• Prometheus 2: 다른 언어 모델을 전문적으로 평가할 수 있도록 설계된 오픈 소스 언어 모델 연구.