[ACL 2024] LLM 신뢰성 평가 방법론과 효율성 연구 트렌드

ACL 2024 메인 컨퍼런스 논문 중 319편 이상이 LLM 관련 연구로, LLM의 역량과 한계, 신뢰성을 다루는 연구가 주를 이루었다. 특히 LLM이 만능 도구가 아님을 경계하며, 추론 능력의 한계와 신뢰성 문제를 해결하기 위한 다양한 방법론이 제안되었다.

LLM Evaluation & Faithfulness 영역에서는 단순 Task를 넘어 복잡한 추론을 요구하는 벤치마크와 평가 방법론이 활발히 논의되었다. 주요 연구 사례는 다음과 같다.

• AppWorld: 기존의 단순 API 호출을 넘어, 6만 줄의 코드로 구축된 고품질 시뮬레이션 환경에서 LLM을 Agent로서 평가하는 벤치마크다. GPT-4o조차 복잡한 태스크 수행률이 낮게 나타나, 상호작용적 코딩 에이전트 평가의 필요성을 입증했다.
• CEF (Correlational Explanatory Faithfulness): LLM이 생성한 설명(Rationale)과 실제 최종 판단 사이의 일치도를 측정하여, 모델의 설명이 얼마나 신뢰할 수 있는지 평가하는 새로운 메트릭을 제안한다.

또한, 웹 데이터가 학습에 포함되어 발생하는 Data Contamination 문제와 모델의 효율성을 높이기 위한 PEFT 연구 등 LLM의 실질적인 활용과 신뢰성을 확보하기 위한 연구가 핵심 트렌드로 자리 잡고 있다.