전시개발팀, Grafana 기반 옵저버빌리티 보드 구축으로 장애 대응 효율화

전시개발팀은 여기어때의 핵심 트래픽을 서빙하는 핵심 서비스로, 대규모 트래픽 처리와 연계 시스템의 안정적 통신이 핵심이다. 팀 이동 후 기존 핀포인트 APM의 한계를 보완하고, 기존 인프라를 활용하기 위해 Grafana와 Grafana Tempo/Loki 기반의 관측성 보드를 구축했다.

관측성 보드는 장애 대응의 핵심 질문인 '우리 서비스 문제인가, 연동 서비스 문제인가'를 즉시 식별하도록 설계됐다. 요청/성공/실패 TPS를 숫자로 직관적으로 표시하고, Incoming과 Outgoing 트래픽을 분리해 평균 레이턴시와 오류를 즉시 격리할 수 있도록 구성했다. 또한 에러 메트릭에서 실제 로그와 트레이스로 원클릭 이동할 수 있는 원클릭 이동 기능을 제공해 컨텍스트 스위칭을 제거했다.

구현 과정에서는 Claude Code와 사내 AI 에이전트 Yapp MCP를 활용해 메트릭 탐색과 쿼리 조정 등 반복 작업을 자동화하여 엔지니어가 핵심 설계에 집중할 수 있도록 했다.

공유된 보드는 팀원들의 추가 기여로 이어져 마이크로서비스 전반의 이상을 파악하는 보드와 이벤트 대응을 위한 보드가 추가로 구축되었다. 다만, 작업 전 측정 기준을 설정하지 못해 정량적 효과 비교가 어려웠으며, 향후 AI 에이전트가 RCA(Root Cause Analysis)까지 수행하도록 고도화하는 것을 과제로 남겨두었다.