Lyft, LangGraph와 LangSmith로 셀프 서비스 AI 에이전트 플랫폼 구축

Lyft는 기존 AI 에이전트 개발 방식이 머신러닝 엔지니어(MLE)에게 과도하게 의존하여 개발 주기가 수개월씩 걸리는 병목 현상을 겪고 있었다. 이를 해결하기 위해 운영 팀, 제품 매니저 등 비기술 전문가가 자연어를 통해 직접 에이전트를 정의하고 개선할 수 있는 셀프 서비스 플랫폼을 구축했다.

시스템 아키텍처는 LangGraph의 라우터 기반 멀티 에이전트(Router Multi-Agent) 패턴을 기반으로 설계되었다.

• 메타 에이전트: 상태를 유지하며 요청을 분류하고, Command(goto=...)를 통해 적절한 하위 에이전트로 작업을 전달한다.
• 하위 에이전트(Subagent): 라이더(Rider) 또는 드라이버(Driver) 전용 인텐트를 처리하는 전문화된 그래프로 구성된다.
• 핸드오프(Handoff): 대화 도중 더 전문적인 에이전트가 필요할 경우, 메타 에이전트로 제어권을 반환하여 재라우팅할 수 있다.

에이전트의 신뢰성과 품질 유지를 위해 LangSmith를 활용한 모니터링 체계를 도입했다. LLM-as-a-judge 평가 시스템을 통해 자동화된 검증을 수행하며, 트레이싱과 대시보드를 통해 에이전트의 동작을 정밀하게 추적한다.

이러한 변화를 통해 Lyft는 에이전트 개발 기간을 기존 약 6개월에서 단 몇 주로 단축하는 성과를 거두었으며, 기술적 중개자 없이도 도메인 전문가가 직접 문제를 해결할 수 있는 환경을 마련했다.