토스, 서비스 개발 집중 돕는 AI 플랫폼 구조 공개

토스 AI Platform 팀은 서비스 팀이 모델 연동, 권한 확인, 사용량 집계 등 반복적인 인프라 작업을 줄이고 본질적인 개발에 집중할 수 있도록 GenAI Portal과 GenAI Gateway 중심의 플랫폼을 구축했다. 이 구조는 모델 사용 신청부터 실제 호출, 보안 검사, 비용 관리까지 전 과정을 통합해 운영 효율성을 높이는 데 초점을 맞췄다.

모델 사용 신청과 거버넌스 관리

GenAI Portal은 모델 사용 신청과 설정을 관리하는 웹 서비스로, 프로젝트 단위로 권한과 예산을 통제한다. 데이터 등급(L1~L4)과 서비스 영향도(SLA 등급)를 입력해 사용 조건을 정의하며, 혁신금융서비스 허용 범위 등 내부 정책 검토를 거쳐 API 키를 발급한다. 이를 통해 여러 서비스에서 동일한 모델과 예산을 일관되게 관리할 수 있다.

호출 처리와 보안 가드레일

실제 모델 호출은 GenAI Gateway가 담당하며, API 키 인증과 사용량 한도, 입력 가드레일 검사를 수행한다. 외부 모델 호출 전 개인정보와 프롬프트 공격을 탐지해 차단하고, 로그 기록 시에는 민감 정보를 마스킹하여 보안과 문제 추적의 균형을 맞춘다. 사내 도구 호출은 MCP Gateway를 통해 별도로 권한을 검증하며, 모델 호출과 도구 실행 권한을 명확히 분리했다.

비용 및 용량 최적화 전략

예산 관리는 누적 비용과 분당 토큰 수(TPM) 한도를 함께 적용해 비용 초과와 서비스 중단을 방지한다. 미리 확보한 처리 용량(PTU)을 우선 사용하다가 부족 시 종량제(PAYG) 경로로 자동 전환하는 라우팅 전략을 통해 안정성과 비용을 동시에 확보한다. 또한 스트리밍 응답 등 미완료 요청의 토큰 수를 예약 및 보정하는 로직으로 실시간 사용량 추적을 정확하게 유지한다.