카카오페이증권의 업무 도우미 AI 봇, '춘시리'를 소개합니다

카카오페이증권 DevOps 팀은 사내에 산재된 정보를 쉽게 조회하고 보안 문제를 해결하기 위해 RAG(검색증강생성) 기술을 적용한 AI 봇 **'춘시리'**를 개발했다.

Amazon Bedrock을 활용해 다양한 LLM을 연동했으며, 보안을 위해 입력 프롬프트와 답변을 저장하지 않는 환경을 구축했다. Embedding 모델로는 Amazon Titan을, 벡터 데이터베이스로는 PGVector를 사용하여 데이터 유사도 기반의 검색 기능을 구현했다.

시스템은 크게 두 파트로 나뉜다.

• 전처리 파트: 1시간마다 Confluence 문서를 스캔하여 업데이트된 내용을 벡터 DB에 저장한다.
• 서비스 파트: Slack, GitHub, Jira를 통해 사용자 요청을 받아 RAG 프로세스를 거쳐 답변을 제공한다.

현재 제공되는 주요 기능은 다음과 같다.

• 위키 질문: 사내 문서를 학습하여 정확한 정보를 검색 및 답변
• 학습하기: 문서화되지 않은 정보를 수동으로 즉시 학습
• 일반 질문: ChatGPT를 대체하는 일반적인 LLM 답변 제공
• 요약하기: 긴 대화 스레드 요약

이를 통해 신규 입사자의 정보 탐색 시간을 단축하고 업무 효율성을 높이는 것을 목표로 한다.