컬리 딜리버리팀, '가짜 에러' 제거로 알람 피로감 해소 및 로그 관리 체계 확립

컬리 새벽배송 딜리버리 프로덕트 팀은 라스트마일 서비스 시스템의 복잡도 증가로 인해 발생했던 알람 피로감 문제를 해결하기 위해 로그 관리 체계를 정비했다. 기존에는 명확한 규칙 없이 무분별하게 기록된 '가짜 에러'가 많아 진짜 문제 발생 시 경계심이 무뎌지는 현상이 발생했다.

로그 레벨 기준 재정립

팀은 회의와 데이터 분석을 통해 ERROR와 WARN 레벨의 명확한 기준을 수립했다. ERROR는 즉각 대응이 필요한 상황으로 정의해 즉시 알람이 울리도록 구성했으며, WARN은 빈도가 높을 경우 문제가 될 수 있는 상태로 설정해 특정 기간 내 임계치 초과 시에만 알람이 발생하도록 조정했다.

• ERROR: 즉각 대응 필요, 의도하지 않은 예외 포함
• WARN: 빈도 기반 모니터링, 공통 범위(5분 내 100회 등) 적용

운영 전략 및 효과

외부 시스템 연동 타임아웃이나 카프카, 레디스 등 애플리케이션 제어 불가 영역의 로그는 패턴 분석 후 알람 설정 또는 제외 처리를 진행했다. 이를 통해 최근 3일간 시스템 에러 로그는 4건으로 줄고 경고 로그는 355건으로 관리되며, 사용자보다 먼저 문제를 인지하는 준 실시간 모니터링이 가능해졌다.

로그는 코드처럼 꾸준히 관리해야 하며, 완벽한 초기 설정보다는 운영 과정에서 트래픽과 사용자 패턴에 따라 알람 빈도를 유연하게 조정하는 것이 중요하다. 이러한 문화 정착으로 개발자의 디버깅 능력이 향상되고 서비스 안정성이 강화되는 효과를 거두었다.