[ACL 2024] LLM의 충실도(Faithfulness) 평가 방법론 및 LLM 효율성 연구 트렌드 - LG AI Research 블로그

태국 방콕에서 개최된 ACL 2024에서는 **LLM(Large Language Models)**이 가장 핵심적인 주제로 다뤄졌다. 전체 논문의 상당수가 LLM과 관련되었으며, 키노트 세션 또한 모델의 역량, 한계, 그리고 신뢰성에 집중되었다.

주요 연구 트렌드는 크게 두 가지로 요약된다.

1. LLM 평가 및 충실도(Faithfulness): 단순한 성능 측정을 넘어, 모델이 얼마나 논리적이고 사실에 기반하여 답변하는지를 평가하는 연구가 활발하다. 특히 고비용의 인간 평가를 대체하기 위해 LLM을 평가자로 활용하는 방법론과, 벤치마크 데이터 오염(Data Contamination) 문제를 다루는 연구가 주목받고 있다.

2. LLM 효율성(Efficiency): 모델의 추론 능력을 높이면서도 자원을 효율적으로 사용하는 연구가 진행 중이다. 특히 **PEFT(Parameter-Efficient Fine-Tuning)**와 같은 효율적인 미세 조정 기법이 주요 화두다.

대표적인 사례로 AppWorld 벤치마크가 소개되었다. 이는 기존의 단순 API 호출을 넘어, 6만 줄의 코드로 구축된 시뮬레이션 환경에서 AI 에이전트가 실제 앱과 사용자 상호작용을 수행하며 복잡한 태스크를 해결할 수 있는지 평가한다.