Monte Carlo: LangGraph와 LangSmith를 활용한 데이터 + AI 관측성 에이전트 구축

데이터 엔지니어들은 데이터 알람이 발생할 때마다 실패한 작업 조사, 코드 변경 사항 추적 등 수동 트러블슈팅에 막대한 시간을 소비한다. Monte Carlo는 이러한 '데이터 다운타임'을 줄이기 위해 수백 개의 가설을 동시에 검토할 수 있는 AI 에이전트를 도입했다.

Monte Carlo는 복잡한 조사 과정을 그래프 기반의 의사결정 흐름으로 구현하기 위해 LangGraph를 선택했다. 시스템은 알람 발생 시 다음과 같은 구조화된 방법론을 따르며, 각 노드는 필요에 따라 하위 노드를 생성해 병렬 조사를 수행한다.

• 최근 7일간의 코드 변경 사항 확인
• 특정 데이터 파이프라인에 영향을 미치는 변경 사항 식별
• 문제 발생 전 몇 시간 동안의 이벤트 조사
• 여러 잠재적 근본 원인에 대한 동시 조사

개발 과정에서는 LangSmith를 사용하여 그래프 기반 워크플로를 시각화하고 디버깅했다. 이를 통해 제품 관리자는 엔지니어링 사이클을 거치지 않고도 프롬프트 엔지니어링을 신속하게 반복할 수 있었다.

아키텍처 측면에서는 AWS 서비스를 활용하여 확장 가능하고 안전한 시스템을 구축했다. 특히 Amazon Bedrock를 사용하여 인프라 관리 부담 없이 최신 파운데이션 모델을 에이전트에 통합했다.