LG AI Research 566

최근 **LLM(Large Language Models)**은 단순한 질의응답을 넘어 수학 경시 대회 수준의 문제 해결과 복잡한 도구 활용 능력을 갖추며 급격히 성장하고 있다. LG AI Research는 EXAONE 3.0, 3.5, EXAONE Deep 모델을 통해 이러한 기술적 진보에 기여해 왔다.

**파운데이션 모델(Foundation Model)**은 모든 LLM 애플리케이션의 핵심이며, 초기 설계 단계에서의 아키텍처 결정은 이후의 포스트 트레이닝과 추론 단계에 결정적인 영향을 미친다. 따라서 효율적인 학습 방법론을 구축하는 것이 매우 중요하다.

효율적인 대규모 모델 학습을 위해 MoE(Mixture-of-Experts) 아키텍처가 주목받고 있다. MoE는 모든 파라미터를 사용하는 Dense 모델과 달리, 입력 토큰에 따라 특정 Expert만을 활성화하는 Sparse 모델 방식으로 계산 비용을 획기적으로 줄인다.

MoE의 주요 특징은 다음과 같다:

• 효율성: 적은 계산 비용으로 더 큰 규모의 모델 학습 가능
• 속도: 학습 및 추론 속도가 빠르고 계산 효율성이 높음
• 기술적 과제: 전문가 간의 균형 잡힌 토큰 라우팅과 학습 안정성 확보가 핵심

최근에는 DeepSeekMoE와 같이 세밀한 전문가 분할(Fine-grained expert segmentation)과 공유 전문가(Shared expert)를 활용하여 학습 효율을 극대화하는 연구가 진행되고 있다.