대규모 환경에서의 서비스 토폴로지 구축: 아키텍처, 과제 및 교훈

Netflix는 엔지니어가 장애 발생 시 영향 범위를 빠르게 파악하고 트러블슈팅할 수 있도록 **실시간 서비스 의존성 맵(Service Dependency Map)**을 구축했다. 기존의 배치(Batch) 처리 방식은 데이터가 생성된 후 반영되기까지 시간이 너무 오래 걸려, 장애 대응 시점에 이미 과거의 데이터가 된다는 한계가 있었다.

이를 해결하기 위해 Netflix는 Streaming-first 아키텍처를 채택했다. Kafka 스트림과 IPC 메트릭을 통해 유입되는 데이터를 실시간으로 처리하며, 데이터 유실 없이 시스템 부하를 조절하기 위해 Backpressure(배압) 메커니즘을 도입했다.

주요 설계 특징은 다음과 같다:

• Streaming-first: 배치 방식 대신 실시간 스트리밍 파이프라인을 사용하여 데이터 신선도(Freshness)를 극대화함.
• Backpressure 제어: 하위 단계의 처리 속도가 느려지면 상위 단계에 신호를 보내 데이터 유입 속도를 조절함으로써 메모리 부족이나 시스템 다운을 방지함.
• Multi-source 통합: eBPF 네트워크 플로우, IPC 메트릭, Distributed Tracing 데이터를 결합하여 정밀한 그래프 레이어를 생성함.

이러한 접근 방식을 통해 초당 수백만 개의 플로우 레코드를 처리하면서도, 특정 시점의 토폴로지를 재구성하는 Time-travel query와 1초 미만의 빠른 쿼리 응답 속도를 구현할 수 있었다.