대규모 서비스 토폴로지 구축: 아키텍처, 과제 및 교훈

Netflix 엔지니어들은 분산된 아키텍처 내에서 장애의 영향 범위(blast radius)를 파악하고 문제를 빠르게 해결하기 위해 실시간 서비스 의존성 맵을 구축해야 했다.

이를 위해 eBPF 네트워크 플로우, IPC 메트릭, 그리고 분산 트레이싱 데이터를 결합한 멀티 소스 접근 방식을 채택했다. 이러한 데이터는 스트리밍 아키텍처를 통해 수집 및 처리된다.

주요 기술적 도전 과제는 다음과 같다:

• 대규모 데이터 스트림을 처리하기 위한 분산 집계 파이프라인 구축
• 과거의 특정 시점 상태를 조회할 수 있는 Time-travel queries 구현
• 수많은 서비스 간의 복잡한 관계를 시각화하고 탐색할 수 있는 구조 설계

이 프로젝트는 단순한 모니터링을 넘어, 엔지니어가 전체 시스템의 연결성을 실시간으로 이해하고 대응할 수 있는 기반을 제공한다.