LG AI Research 블로그

거대 언어 모델(LLM)은 단순한 어시스턴트를 넘어 스스로 추론하고 도구를 활용하는 단계로 진화하고 있다. LG AI 연구원은 EXAONE 시리즈를 통해 이러한 기술 발전에 기여해 왔다.

LLM의 핵심인 **파운데이션 모델(Foundation Model)**은 설계 단계부터 사후학습과 추론 효율성을 모두 고려해야 한다. 특히 제한된 자원 내에서 모델 크기를 확장하기 위해 Mixture-of-Experts (MoE) 구조가 주목받고 있다.

MoE는 모든 파라미터를 사용하는 Dense 모델과 달리, 입력 토큰에 따라 특정 Expert만을 활성화하여 계산 비용을 줄이는 Sparse 모델 구조다. 최근 DeepSeekMoE는 전문가를 세분화하고 '공유 전문가(Shared Expert)' 개념을 도입하여 효율성을 극대화했다.

학습 속도와 효율을 높이기 위해 FP8과 같은 낮은 정밀도(Low-precision) 학습 기술도 도입되고 있다. DeepSeek-V3는 계산이 중요한 부분은 FP8로, 수치 안정성이 필요한 부분은 FP32나 BF16을 사용하는 Mixed Precision Framework를 통해 성능 저하를 최소화하며 학습 효율을 높인다.