카카오, if(kakaoAI)2024서 자체 LLM 개발기·AI 에이전트 기술 공개

카카오가 if(kakaoAI) 2024 컨퍼런스를 통해 자사의 AI 기술 현황과 미래를 공유한다. 이번 행사에서는 AI Agent, AI Platform, Multimodal AI, AI Safety 등 다양한 카테고리로 나뉘어 기술 세션이 마련되었다.

자체 LLM 개발과 서빙 최적화

카카오는 자체 대규모 언어 모델(LLM)의 개발 전 과정을 공개한다. 데이터 수집부터 Pre-training, Post-training까지의 도전 과제와 해결 방안을 다루며, 추론 비용을 최적화하기 위한 실험과 전략도 소개한다. 또한, 카카오페이 등에서 적용한 LLM 서빙 프레임워크 도입 경험과 지연 시간 및 비용을 줄이는 최적화 기술을 공유한다.

AI 에이전트 및 서비스 적용 사례

사용자의 컨텍스트를 이해하는 Context-Aware AI Mate와 사내 업무 효율화를 위한 RAG 기반 봇 개발기가 발표된다. CodeBuddy를 활용한 AI 코드 리뷰, 웹툰 미리보기 서비스 Helix 쇼츠, 그리고 LLM을 활용한 와인 추천 대화형 서비스 등 실제 서비스에 적용된 사례들을 통해 AI Native 환경을 보여준다.

멀티모달 AI와 안전성 강화

카카오는 자체 개발한 멀티모달 LLM이 CVPR 2024 하이라이트 논문으로 선정된 성과를 바탕으로 학습 방법과 인사이트를 공유한다. LLM의 언어 능력을 음성인식기에 전이시켜 성능을 개선한 기술도 소개된다. 또한, AI Safety Initiative를 통해 스미싱 탐지, 악성 유저군 탐지, 스팸 대응 등 안전한 AI 서비스를 제공하기 위한 노력과 설명 가능한 AI(XAI) 개선 성과를 발표한다.