신한카드, 온톨로지와 소형언어모델로 고효율 AI 챗봇 구축하기

신한카드는 기존 시나리오 기반 챗봇의 한계를 극복하고, 고객의 복잡한 의도와 주제 전환에 대응하기 위해 AWS GenAIIC와 협력하여 차세대 AI 챗봇을 개발했다.

금융 상담의 특성상 발생하는 51개의 세분화된 인텐트를 정확히 분류하고, 규제 준수와 비용 효율성, 응답 지연(Latency) 문제를 동시에 해결하는 것이 핵심 과제였다. 이를 위해 대형 모델 대신 자체 호스팅이 가능한 sLLM(소형언어모델) 도입을 결정했다.

주요 기술 혁신은 세 가지 축으로 이루어진다:

• 온톨로지 기반 인텐트 분류: 인텐트를 Domain, Action, Tag로 구조화하여 sLLM의 정보 과부하를 방지하고 분류 정밀도를 높였다.
• 분산형 Agentic AI: 단일 LLM 구조에서 벗어나, 역할별로 특화된 sLLM 에이전트들이 협력하여 복잡한 워크플로우를 처리한다.
• 자율적 시스템 업데이트: AI 에이전트 간의 상호 대화와 피드백을 통해 상담 지식과 로직을 스스로 검증하고 고도화하는 선순환 체계를 구축했다.