온디바이스 에이전틱 AI: EXAONE 기반의 LG U+ ixi-O

AI 기술의 중심이 클라우드에서 개인용 기기로 이동함에 따라, LG AI Research와 LG U+는 ixi-O를 온디바이스 에이전틱 AI로 전환하는 프로젝트를 수행했다. 이번 프로젝트는 보안 강화와 인프라 비용 절감을 목표로 한다.

주요 과제는 세 가지로 정의되었다. 첫째, 클라우드 기반의 AI Call Analysis 서비스를 온디바이스 모델로 전환하여 데이터 보안을 높이고 서버 비용을 절감했다. 둘째, 기존의 규칙 기반 시스템을 EXAONE LLM 기반의 대화형 구조로 변경하여 AI Call Answering 서비스의 자연스러운 대화 능력을 강화했다.

마지막으로 효율성을 위해 Multi-task Learning 접근 방식을 채택했다. 단일 모델이 모든 서비스를 처리하도록 설계하여 RAM 사용량을 최소화하고 향후 모델 유지보수 및 운영 효율을 극대화했다.

베이스 모델로는 EXAONE 4.0 1.2B 경량 모델이 선정되었다. 이 모델은 다음과 같은 강점을 가진다.

• 온디바이스 최적화: 스마트폰 환경에 최적화된 크기와 성능 제공
• 우수한 성능: 지식 추론, 지시 이행, 한국어 이해도 측면에서 글로벌 경량 모델 대비 탁월한 벤치마크 성능 증명
• 확장성: 최대 65K의 긴 컨텍스트(Long-context) 지원 및 다국어(영어, 스페인어 등) 처리 능력