컬리, Gemini와 MCP 연동한 AI 에러 분석가 'Jarvis'로 대응 속도 개선

컬리 배송 시스템 팀이 Gemini와 **MCP(Model Context Protocol)**를 활용해 에러 로그를 자동 분석하는 AI 비서 **'Jarvis'**를 개발해 운영 중이다. 기존에는 로그 검색과 해석에 5분 이상 소요되어 시스템 안정성이 저하되는 문제가 있었으나, Jarvis 도입 후 대응 속도가 크게 향상되었다.

초기 한계와 프롬프트 엔지니어링

초기에는 검색 기반 자동화를 시도했으나 시스템 특화 에러에 대한 정확성이 부족했다. 이에 LangChain을 통해 Gemini를 연동하고, 역할 정의와 중요도 평가 등 5가지 프롬프트 규칙을 적용해 시니어 개발자 수준의 원인 분석을 가능하게 했다.

MCP 도입으로 맥락 강화

팀원들이 초기 Jarvis의 제안을 무시했던 주된 원인은 실제 코드나 비즈니스 로직 정보가 부족했기 때문이다. 이를 해결하기 위해 MCP를 도입하여 Datadog의 전체 에러 메시지와 GitHub의 관련 소스 코드를 연결했다. 풍부한 맥락을 제공받은 Jarvis는 실제 운영 환경에서 정확한 진단과 해결 방안을 제시하며 팀원들의 신뢰를 얻었다.

향후 계획 및 성과

도입 한 달 만에 Slack 채널에서 단순 로그 확인 요청이 줄고 구체적인 진단이 빠르게 공유되는 변화가 나타났다. 향후에는 과거 Slack 대화 내용을 학습 데이터로 활용하여 더 현장감 있는 해결책을 제시하는 것을 목표로 한다.