토스증권 추천과 검색은 어떻게 진화하고 있을까?

토스증권 AI 데이터 플랫폼 팀은 모든 AI 서비스가 공통으로 활용할 수 있는 데이터 생태계 구축을 목표로 하고 있습니다. 이를 위해 원천 데이터 파이프라인, 실시간·배치 피처 스토어, 자연어 검색용 RAG, 그리고 금융 정보 지식 그래프를 기반으로 시스템을 설계하고 있습니다.

추천 시스템은 과거 배치 중심의 클러스터링 방식에서 벗어나, 유저의 실시간 행동 이벤트와 아이템 변경 사항을 반영하는 실시간 루프 구조로 전환되었습니다. 임베딩 모델 변경 시 벡터 저장소의 버전 관리와 일관성 유지가 핵심 과제로 떠올랐으며, 고차원 벡터 조회 시 발생하는 JVM 메모리 압력 등 운영적 이슈를 해결하기 위해 mget 처리량과 GC 추이를 정밀하게 모니터링하고 있습니다.

검색 분야에서는 LLM 기반 서비스의 데이터 접근 방식 파편화 문제를 해결하기 위해 RAG를 '검색 제품화' 관점에서 접근했습니다. 뉴스 RAG 파이프라인은 질문 이해, 하이브리드 검색(텍스트+벡터), 리랭킹 단계를 거쳐 정제된 컨텍스트를 제공합니다. 금융 특화 임베딩의 한계를 극복하기 위해 사전 관리, 메타데이터 기반 신호 강화, 그리고 LLM 파인튜닝된 리랭커를 도입하여 검색 정확도와 신뢰도를 높였습니다.