Orange Business, LangChain 기반 'Live Intelligence' 플랫폼으로 12만 직원 및 150개 고객사 지원

Orange 그룹의 B2B 부문인 Orange Business가 LangChain과 LangSmith를 활용해 복잡한 엔터프라이즈 워크플로우를 오케스트레이션하는 AI 플랫폼 Live Intelligence를 구축했다. 이 플랫폼은 현재 Orange 직원 120,000명에게 배포되었으며, 프랑스와 유럽의 150개 이상 고객사가 채택했다.

아키텍처 및 구성 요소

이 플랫폼은 서로 다른 사용자 역할을 대상으로 하는 세 가지 구성 요소로 이루어져 있다:

• Live Intelligence Studio: AI 엔지니어가 시스템 간 워크플로우를 설계하는 환경으로, LLM-as-a-Service 카탈로그, LangSmith Fleet 기반 에이전트 빌더, MCP 지원을 제공한다.
• Live Intelligence Portal: HR, 법무, 소프트웨어 팀 등 비즈니스 최종 사용자가 직무 기술서 작성이나 테스트 스크립트 생성 등 배포된 워크플로우에 접근할 수 있는 인터페이스다.
• Live Intelligence Console: 엔터프라이즈 관리자가 사용 현황 모니터링, 성능 추적, 보안 정책 시행을 수행하는 제어 계층이다.

거버넌스 및 평가

Orange Business는 규모와 보안을 관리하기 위해 Agent 및 MCP Registries를 구현했다. 이를 통해 팀은 에이전트와 프롬프트를 중앙에서 발견, 재사용, 버전 관리할 수 있으며, Microsoft 365 및 CRM 등 엔터프라이즈 시스템 접근을 위한 신뢰할 수 있는 도구와 커넥터 카탈로그를 제공한다.

팀은 프로덕션 환경에서 LangSmith를 활용해 3단계 평가 스택을 운영한다:

1. RAG 품질: 검색 재현율, 근거 기반 품질, 답변 충실도 평가.
2. 에이전트 동작: 도구 선택 정확도, 작업 완료율, 프롬프트 인젝션에 대한 견고성 모니터링.
3. 프로덕션 트레이스 모니터링: 지연 시간, 비용, 모델 사용량, 실패한 실행 추적.

운영 성과

LangSmith의 관측 기능을 활용함으로써 Orange Business는 내부 개발 시간 12~18개월을 절감한 것으로 추정된다. 실행 트레이스에 대한 공유 가시성은 엔지니어, 제품 관리자, QA가 디버깅과 회귀 테스트를 협업할 수 있게 하여, 배포 전 에이전트 동작의 지속적 개선을 가능하게 한다.