커머스 클레임 색인 CDC 전환, 절대지연 14.3초에서 0.8초로 단축

• 커머스 클레임 검색 색인의 변경 수집 방식을 알림 기반에서 CDC로 전환하여 누락과 기준시각 오염 문제를 해결함
• 절대지연 중간값이 14.3초에서 0.8초로 약 18배 감소하고, 7일간 약 4만 2천 건 전수 대조에서 필드 불일치 0건 확인
• 전수 대조 과정에서 기존 색인이 동일 입력에 대해 일관되지 않은 값을 생성하는 결함 166건을 발견함
• 전체 색인 배치의 원본 DB 부하를 줄이기 위해 묶음 크기를 5,000건으로 조정하고 중복 조회를 제거하여 질의 수를 약 1,100배 감소시킴

검증 방법과 결과

• 누락, 값, 지연 세 축으로 대조하여 전환 여부를 판단함
• 연도별 건수 차이는 보존 기간 시작점이 걸친 해를 제외하고 0건이며, 새 색인에만 있는 문서도 0건임
• 신규 변경 7일 연속 전수 대조에서 필드 불일치 0건, 과거 구간은 경로별 표본으로 확인

운영 최적화

• 전체 색인 배치에서 개인정보 조회 시 중복을 제거하여 조회 대상을 1,643만 건에서 36만 6천 건으로 축소
• 묶음 크기를 200건에서 5,000건으로 변경하고 속도 제한을 배치 전체 총량 기준으로 설정
• 조치 후 CPU 사용량 45% 감소, 소요시간 12.9분에서 11.6분으로 단축

자동화 범위

• 검증 가능성이 있는 작업에만 에이전트를 위임하고, 판단과 책임은 사람이 수행함
• 대조 실행과 집계 정리는 에이전트가 수행하며, 결과 판정과 포기 결정은 사람이 담당