LG AI Research의 K-EXAONE
·2026.07.16 09:00
LG AI Research가 효율성과 성능을 극대화한 대규모 AI 모델 K-EXAONE을 개발했다.
LG AI Research는 국가적 차원의 AI 경쟁력을 확보하기 위해 독자적인 기술로 개발한 대규모 AI 모델 K-EXAONE을 선보였다. 이 모델은 학습 및 추론 비용을 줄이면서도 글로벌 수준의 성능을 구현하는 데 초점을 맞췄다.
주요 기술적 특징은 다음과 같다:
- Mixture-of-Experts (MoE) 구조: 128개의 전문가(Expert) 중 9개만 활성화하는 설계를 통해, 총 2,360억 개의 파라미터를 보유하면서도 실제 구동 시에는 약 230억 개의 파라미터만 사용하여 자원 효율성을 극대화했다.
- Multi-Token Prediction (MTP): 기존의 단일 토큰 예측 방식에서 벗어나 다음 토큰들을 동시에 예측함으로써, 기존 모델 대비 약 1.5배 빠른 추론 속도를 구현했다.
- 효율적인 Tokenizer: 어휘(Vocabulary) 규모를 15만 개로 확장하고, 빈번한 단어 조합을 하나로 묶는 SuperBPE 전략을 도입했다. 이를 통해 기존 EXAONE 대비 토큰당 바이트 효율을 약 30% 개선했다.
이 요약은 원문 이해를 돕기 위한 큐레이션입니다. 저작권은 원저작자에게 있으며, 정확한 내용과 맥락은 원문을 확인하세요.
요약 오류, 출처 표기 문제, 삭제 요청은 문의 · 건의로 알려주세요.