AI가 투자 정보를 말하기까지

토스증권은 ML과 LLM을 활용해 AI 시그널, 실시간 이슈, 어닝콜, AI 증시 캘린더 등 금융투자 정보 서비스를 개발하고 있다. 뉴스 요약이나 공시 재작성과 달리 투자 정보는 적시성, 정확성, 검증 가능성, 비정상성을 모두 충족해야 한다.

금융 시장에서는 같은 정보도 시점과 시장 상황에 따라 해석이 달라진다. 기업명이 기사에 등장하는 것만으로는 주가 움직임의 근거가 되지 않으며, 모델의 모든 결과는 근거를 남기고 재현할 수 있어야 한다. LLM과 자율형 에이전트는 정보가 부족하거나 잘못된 상태가 전달될 때 유창하지만 틀린 답을 만들 수 있고, 실행 경로도 매번 달라진다.

이에 따라 토스증권은 AI가 답변하기 전에 통과해야 할 세 가지 관문을 정의했다.

• 무엇을 말할지 고르기: 원천 데이터의 분류와 검색, 중복 제거, 리랭킹·필터링, 컨텍스트 정렬을 통해 LLM에 전달할 근거를 선별한다.
• 어떻게 생성할지 통제하기: 검색·분류·검증·평가를 정해진 태스크 그래프로 조합하고, LLM은 요약과 근거 기반 설명에 집중시킨다.
• 평가 가능한 구조로 만들기: 프롬프트를 한 번 만드는 데 그치지 않고 운영 중 결과를 관찰하고 개선할 수 있는 구조를 마련한다.

첫 번째 관문에서는 뉴스·공시·재무 데이터가 들어오는 시점부터 BERT 기반 분류 모델로 메타데이터를 부여한다. 한국 주식 관련성, 애널리스트 분석 여부, 기술 트렌드, 관련 기업 등을 분류하고 벡터 검색용 임베딩도 미리 생성한다.

이후 하이브리드 리트리버로 후보를 넓게 수집한 뒤, 의미 기반 클러스터링으로 중복 정보를 제거하고, 기업 주가 움직임과의 직접적인 관련성을 기준으로 리랭킹한다. 설명 패턴과 실패 사유 택소노미를 함께 적용해 실적, 가이던스, 기업 행동, 광고성 정보, 근거 부족 여부 등을 구분한다.

최종 근거는 LLM이 다음 순서로 점검하도록 배치한다. 무슨 일이 있었는지, 해당 이벤트가 기업과 어떻게 연결되는지, 가격 방향과 근거의 극성이 일치하는지, 근거가 충분하고 최신인지 확인하는 Reasoning-Friendly Context를 구성한다.

생성 단계에서는 자율형 에이전트와 절차형 오케스트레이션을 서비스 요건에 따라 구분한다. 투자 아이디어 발굴처럼 문제 정의가 열려 있는 작업에는 에이전트의 탐색과 플래닝이 유용하지만, 주가 등락 설명처럼 응답 요건이 명확한 작업에는 반복 가능한 실행 경로를 제공하는 태스크 그래프가 더 적합하다.

ReAct 루프를 길게 돌리면 툴 콜, 토큰 사용량, 레이턴시와 관리해야 할 트레이스가 늘어난다. 따라서 정해진 판단 경로가 필요한 제품에서는 후보 검색부터 관련성 판단, 중복 제거, 근거 구성, 최종 응답 생성까지 각 단계의 입출력 스키마를 명확히 정의해 디버깅과 평가, 비용·속도·폴백 설계를 가능하게 한다.