LG AI 연구원, LLM의 문화적 상식 이해 능력 연구로 NAACL 2024 소셜 임팩트 어워드 수상

LG AI 연구원과 미시건 대학교의 공동 연구가 NAACL 2024 소셜 임팩트 어워드를 수상했습니다. 이번 연구는 거대 언어 모델(LLM)이 다양한 문화적 맥락과 상식을 얼마나 정확하게 이해하는지, 그리고 그 과정에서 발생하는 문화적 편향성을 체계적으로 분석했습니다.

연구팀은 중국, 인도, 이란, 케냐, 미국 등 5개 국가와 5개 언어를 대상으로 실험을 설계했습니다. Vicuna, Llama2와 같은 오픈 소스 모델부터 GPT-3.5-turbo, GPT-4와 같은 클로즈드 소스 모델까지 폭넓게 테스트했습니다.

주요 분석 결과는 다음과 같습니다:

• 문화적 상식 이해의 한계: 모델들은 영어와 중국어 데이터가 풍부한 환경에서는 높은 성능을 보였으나, 이란이나 케냐와 관련된 문화적 상식 및 해당 언어(페르시아어, 스와힐리어)를 사용할 때는 성능이 현저히 저하되었습니다.
• 언어와 성능의 관계: 특정 문화권의 언어로 질문을 던지는 것이 반드시 성능 향상으로 이어지지는 않았습니다. 오히려 대부분의 모델은 해당 국가의 언어가 아닌 영어로 질문할 때 가장 높은 성능을 보였습니다.
• 일반 상식의 문화적 영향: '건강한 식단은 혈당을 낮춘다'와 같은 보편적 상식의 경우, GPT 모델은 해당 국가의 언어로 질문했을 때 성능이 균일하게 개선되는 양상을 보였습니다.

이번 연구는 AI 시스템의 안정성과 공정성을 위해 문화적으로 지각 있는(culturally aware) 언어 모델 개발이 시급함을 강조하며, AI 기술의 포용성을 촉진하기 위한 중요한 통찰을 제시했습니다.