LG AI 연구원, K-EXAONE 소개

LG AI연구원은 한국의 AI 경쟁력을 높이기 위해 독자적인 기술력을 바탕으로 한 대규모 AI 모델 K-EXAONE을 개발했다. 이 모델은 자원 효율성을 극대화하면서도 글로벌 수준의 성능을 확보하는 데 초점을 맞췄다.

1. 효율성 확보를 통한 비용 절감

• 혼합 전문가(MoE) 구조: 2,360억 개의 파라미터를 보유하고 있지만, 실제로는 128개의 전문가 중 9개만 활성화하는 방식을 통해 약 230억 개의 파라미터만 사용하여 자원 효율성을 높였다.
• 멀티 토큰 예측(MTP): 기존의 자율회귀 방식 대신 다음 토큰들을 동시에 예측하는 구조를 도입하여 추론 속도를 약 1.5배 향상시켰다.
• 토크나이저 최적화: 어휘 수를 15만 개로 확장하고 SuperBPE 전략을 통해 바이트 당 토큰 수를 기존 대비 약 30% 개선했다.

2. 체계적인 학습 및 성능 강화

• 사전 학습: 기초 지식, 전문 지식, 추론 능력을 단계별로 학습하며, 특히 사고 궤적(Thinking Trajectory) 데이터를 활용해 논리적 흐름을 학습하도록 설계했다.
• 컨텍스트 확장: 최대 26만 토큰까지 지원하며, 긴 문맥 학습 시 성능 저하를 막기 위해 '리허설 데이터셋'을 활용하고 NIAH(Needle-In-A-Haystack) 테스트로 검증했다.
• 사후 학습: 가상 환경에서의 도구 사용 학습(SFT)과 수학·코딩 등 다양한 분야의 **강화 학습(RL)**을 통해 모델의 실질적인 문제 해결 능력을 극대화했다.