슈나이더 일렉트릭이 LangSmith를 통해 LLMOps 기반을 구축한 방법

글로벌 에너지 기술 기업인 Schneider Electric은 350명의 전문가로 구성된 AI Hub를 운영하며, 에너지 소비 최적화 및 생산성 향상을 위해 60개 이상의 AI 에이전트를 배포하고 있습니다. 이들은 복잡한 인프라 환경에서 데이터 보안과 품질을 유지하며 AI를 확장하는 데 집중하고 있습니다.

기존의 MLOps 방식으로는 LLM 시스템의 에이전트 동작 디버깅, 프롬프트 변경에 따른 정밀한 측정, GenAI 시스템의 운영 준비 상태 검증에 한계가 있었습니다. 이를 해결하기 위해 슈나이더 일렉트릭은 관측성(Observability), 평가(Evaluation), **배포(Deployment)**라는 세 가지 핵심 축을 중심으로 LLMOps 역량을 조직화했습니다.

특히 관측성 측면에서는 AWS EKS 상에 LangSmith를 Self-hosted 방식으로 구축하여 데이터 프라이버시를 강화했습니다. 또한, 제품별로 단일 워크스페이스를 운영하여 개발(Dev)부터 운영(Prod)까지의 트레이스를 통합 관리함으로써, 운영 환경의 데이터를 즉시 데이터셋으로 변환해 에이전트 성능을 지속적으로 개선하는 구조를 만들었습니다.

이러한 체계를 통해 107개국 16만 명의 직원을 대상으로 하는 내부 AI 어시스턴트인 **'One Jo'**의 모든 대화를 추적하고, 실제 사용 사례를 기반으로 회귀 테스트 데이터셋을 구축하여 시스템의 신뢰성을 높이고 있습니다.