KT Cloud, 이기종 데이터 통합을 위한 '수집·식별·소비' 3대 아키텍처 경계 제시

KT Cloud 플랫폼엔지니어링팀은 멀티클라우드 환경에서 모니터링 도구와 관측 대상이 급증함에 따라, 이기종 데이터 통합 시스템의 확장성을 확보하기 위한 '수집·식별·소비' 3가지 아키텍처 경계 설계 기준을 공개했다. 통합 시스템의 난이도는 첫 통합이 아닌 '새로운 소스 추가' 시점에 발생하며, 데이터 흐름의 각 구간을 격리 경계로 설정해 변화가 내부에서 흡수되도록 하는 것이 핵심이다.

3대 아키텍처 경계 설계

• 수집 경계 (Source Adapter): 소스 종류 변경에 대응하기 위해 어댑터 패턴을 적용한다. 새 소스 추가가 '어댑터 1개' 추가만으로 끝나도록 코어 로직과 분리하며, 실시간 Push 대신 단조 증가 커서 기반 Pull 방식을 채택해 재처리와 순서 보장을 공통화했다.
• 식별 경계 (Entity Resolver): 소스마다 다른 엔티티 식별 키(IP, 이름+리전 등) 차이를 한 곳(Resolver)에 집중시켜 흡수한다. 키 매칭 로직이 조회 쿼리에 하드코딩되면 새 키 도입 시 전수 수정이 필요하므로, 공통 필드와 확장(JSONB) 속성을 분리해 유연성을 확보한다.
• 소비 경계 (Read Model): 대시보드나 리포트 등 화면이 코어 테이블을 직접 조인하지 않도록 Read Model(전용 조회 모델)을 경유하게 한다. 이를 통해 코어 테이블 구조 변경이 화면 전반으로 전파되는 것을 방지하고 '데이터는 들어왔으나 화면에 안 보이는' 침묵의 버그를 예방한다.

공통화 원칙과 운영 가시화

추상화 경계는 '자주, 같은 방식으로 변하는 지점'에만 긋고, 컨텍스트가 제각각인 곳은 개별 대응으로 남기는 균형이 중요하다. 전면 통합 뷰 대신 개별 UNION을 채택해 성능과 복잡도를 관리했으며, 소스와의 인터페이스 계약(단조 증가 커서, 발생/해소 페어링)을 명확히 해 보정 코드를 절반으로 줄였다. 또한 매칭 실패 데이터를 별도 채널로 노출해 조용한 데이터 유실을 방지하고, 스키마 단일 출처 관리를 통해 문서와 구현의 정합성을 유지한다.