LG AI Research 447

LG AI Research와 미시간 대학교의 공동 연구팀이 수행한 **'LLM의 문화적 상식 이해 능력에 관한 연구'**가 NAACL 2024 Social Impact Award를 수상했다. 이번 연구는 LLM이 특정 문화권의 상식을 얼마나 잘 이해하는지, 그리고 문화적 맥락과 언어가 모델의 답변에 어떤 영향을 미치는지 체계적으로 분석했다.

연구팀은 중국, 인도, 이란, 케냐, 미국 등 5개 국가와 중국어, 힌디어, 페르시아어, 스와힐리어, 영어 등 5개 언어를 대상으로 실험을 진행했다. 실험에는 Vicuna, Falcon, Llama2와 같은 오픈 소스 모델부터 GPT-3.5-turbo, GPT-4와 같은 폐쇄형 모델까지 다양한 LLM이 포함되었다.

주요 연구 질문은 다음과 같다:

• 문화권에 따라 LLM의 상식 능력이 차이를 보이는가?
• 문화적 맥락과 상식 접근성 사이에 어떤 관계가 있는가?
• 언어 선택이 이러한 질문에 대한 답변에 어떤 영향을 미치는가?

이번 연구는 LLM에 내재된 **문화적 편향(Cultural Bias)**을 드러냄으로써, AI 시스템의 신뢰성과 공정성을 높이기 위해 문화적으로 인지하는(culturally-aware) 언어 모델 개발이 시급함을 강조했다.