Rippling, Deep Agents와 LangSmith로 6개월 만에 프로덕션 AI 구축

Rippling은 HR, IT, 급여, 재무 등 수천 개의 테이블과 중복된 개념이 얽힌 방대한 데이터 모델을 보유하고 있다. 단순히 LLM에 스키마를 전달하는 방식으로는 도메인 간의 모호성을 해결하고 복잡한 질문에 답하기 어려웠다.

이를 해결하기 위해 LangChain Deep Agents 기반의 멀티 에이전트 아키텍처를 도입했다. Supervisor agent가 중심이 되어 5~7개의 전문화된 하위 에이전트를 조율하는 구조로, 이를 통해 약 6개월 만에 프로덕션 환경에 AI를 적용했다.

시스템은 다음과 같은 세 가지 유형의 전문 에이전트로 구성된다:

• Read agents: HR, 급여, IT 등 구조화된 데이터 및 외부 플랫폼(Salesforce, GitHub 등) 쿼리 수행
• RAG agents: 도움말 문서, 사내 핸드북 등 비구조화된 데이터 검색
• Action agents: 보너스 업로드, 직함 조정 등 시스템 내 쓰기 작업 수행

LangSmith는 프로덕션 디버깅과 평가를 담당한다. 트레이싱, 계층적 평가, 그리고 시스템 품질을 지속적으로 개선하기 위한 반자동 셀프 힐링 루프를 활용해 모델의 성능 저하를 방지하고 품질을 관리한다.