생성형 AI 시대: 거대 언어 모델(LLM)의 기술 방향성 - LG AI Research BLOG

생성형 AI 기술은 개인과 기업의 생산성을 높이고 AGI(인공 일반 지능) 달성을 가속화하고 있다. LLM의 성능을 결정짓는 핵심 요소는 학습 데이터, 평가 체계, 그리고 모델 구조다.

학습 데이터는 모델 크기가 커짐에 따라 규모가 급격히 증가하고 있다. CommonCrawl과 같은 웹 데이터, Wikipedia, Github 기반의 코드 데이터, 그리고 전문 서적 및 논문 데이터가 주요 소스로 활용된다. 데이터의 품질을 위해 필터링, 중복 제거, 비식별화와 같은 정제 과정이 필수적이다.

평가 데이터는 모델의 언어 생성 능력, 지식 활용 능력, 추론 능력을 다각도로 검증한다. LAMBADA나 XSum은 언어 생성 능력을, Natural Questions는 지식 활용을, PiQA나 GSM8K는 논리적 추론 능력을 평가하는 데 사용된다.

**사전학습 언어 모델(Pre-trained Language Model)**은 구조에 따라 인코더, 디코더, 인코더-디코더로 나뉜다. 최근에는 GPT 시리즈와 같은 디코더(Decoder) 모델이 주목받고 있다. 특히 거대 모델은 추가 학습 없이도 In-context Learning을 통해 다양한 태스크를 수행하며 높은 성능을 보인다.