Amazon Bedrock 기반 사내 LLM, 키 발급부터 비용 차단까지: F&F의 LiteLLM 게이트웨이 운영 사례

조직 내 생성형 AI 도입 시 발생하는 API 키 관리와 급격한 비용 상승 문제를 해결하기 위해 F&F는 자체적인 LLM 플랫폼을 구축했다. 특히 고비용 모델 사용 시 발생하는 예기치 못한 과금을 방지하기 위해 실시간 할당량 제한과 모니터링 기능이 핵심이었다.

플랫폼은 Amazon Bedrock의 안정적인 모델 서빙 기능을 활용하되, 부족한 운영 요건을 보완하기 위해 LiteLLM 게이트웨이를 도입했다. 전체 아키텍처는 다음과 같이 두 영역으로 구성된다.

• 컨트롤 플레인 (Cloud Portal "LLM Lite"): 키 발급, 모델 승인 워크플로, 예산 설정 및 사용량 대시보드 등 운영 콘솔 담당.
• 데이터 플레인 (LiteLLM Proxy on Amazon EKS): 모든 LLM 호출의 단일 관문으로서 모델 라우팅, 접근 제어, 예산 강제 및 사용량 집계 수행.

사용자 식별은 Microsoft Entra ID 기반의 SSO를 활용한다. 개인 사용은 이메일로, 서비스 사용은 svc:{서비스명} 식별자로 관리하여 개인의 실험적 사용과 서비스의 상시 호출이 섞이지 않도록 설계했다. 이를 통해 구성원은 발급부터 첫 호출까지 단 3분 만에 완료할 수 있는 최적화된 경험을 제공받는다.