KB증권, Amazon Bedrock 기반 Context Tier-Routing으로 토큰 35.9%, 비용 15.8% 절감

• KB증권이 사내 에이전틱 AI '깨비AI'에 Amazon Bedrock 기반 Context Tier-Routing을 도입하여 전체 토큰 사용량을 35.9% 감소시켰다.
• LLM 호출 시점의 작업 난이도를 기준으로 모델을 선택하는 방식으로 전환하여 평균 품질 점수 85.2를 유지하면서 전체 E2E 응답 시간을 25.0% 단축했다.
• 상위 Tier로 승격 후 하향 전환을 금지하는 Elevate-only 정책을 적용하여 Prompt Cache 무효화를 방지하고 비용 효율성을 확보했다.
• XGBoost 분류기를 사용해 라우팅 정확도 85.83%를 달성했으며, Amazon SageMaker AI 파이프라인으로 학습 및 배포 과정을 자동화했다.

기술 구현 및 정책

• intfloat/e5-large 임베딩과 구조적 특성을 결합한 2,052차원 벡터를 입력으로 XGBoost 이진 분류기를 학습했다.
• STANDARD Tier는 자체 GPU 서빙 gemma4-31B-it, ADVANCED Tier는 Claude Sonnet 4.6을 사용하도록 구성했다.
• 라우터 실패 시 직전 모델을 유지하는 Fail-open 정책을 적용하여 서비스 안정성을 확보했다.

성능 분석 및 한계

• Medium 난이도 구간에서 응답 시간 29% 단축과 토큰 절감률 42.1%라는 가장 높은 효율을 기록했다.
• Hard 구간에서 라우터가 STANDARD로 오판한 41건은 평균 점수가 4.4점 하락하여 경량 모델의 한계가 드러났다.
• 모델 전환 시 발생하는 Cache Write 비용으로 인해 토큰 절감률(35.9%) 대비 실제 클라우드 API 비용 절감률(15.8%)이 낮게 나타났다.