LG AI Research 352

생성형 AI 기술의 급격한 확산 속에서 **LLM(Large Language Models)**은 산업 전반의 생산성을 높이는 핵심 기술로 자리 잡고 있다. LLM의 성능은 모델의 파라미터 크기뿐만 아니라 학습에 사용되는 데이터의 규모와 질에 의해 결정된다.

학습 데이터는 크게 다음과 같은 소스를 활용한다.

• CommonCrawl: 웹 크롤링 데이터를 기반으로 한 다양한 주제와 스타일의 데이터
• Wikipedia: 정제된 고품질의 백과사전 데이터
• Code: Github(TheStack) 및 StackExchange 기반의 프로그래밍 코드 및 Q&A
• 기타: 학술 논문(Arxiv), 도서(Bookscorpus), 의학(PubMedCentral) 등

평가 데이터는 모델의 능력을 다각도로 검증하기 위해 세 가지 관점에서 분류된다.

• 언어 생성 능력: 문장 완성(LAMBADA) 및 요약(XSum) 성능
• 지식 활용 능력: 상식 기반의 Closed-book QA 및 외부 지식을 활용하는 Open-book QA
• 추론 능력: 일반 상식 추론(PIQA, HellaSwag) 및 수학적 논리(GSM8K) 테스트

이 외에도 MMLU, BIG-bench 등을 통해 다양한 도메인의 지식을 평가하며, 특정 목적(코드, 바이오 등)에 따라 최적화된 데이터셋을 사용하여 모델의 정확도와 강건성을 검증한다.