Netflix, Observability Ontology로 인시던트 조사 컨텍스트 조립 자동화

초당 20억 건의 요청과 3800만 건의 로깅 이벤트를 처리하는 시스템에서 디버깅 시 엔지니어들은 '바늘 찾기' 문제를 겪는다. 기존 MELT(Metrics, Events, Logs, Traces) 도구는 원시 데이터만 제공할 뿐, 근본 원인 파악에 필요한 시맨틱 관계가 부족해 조사 시간의 대부분이 수동 컨텍스트 조립에 소요되며 평균 4시간이 걸린다.

Observability Ontology

이 문제를 해결하기 위해 Netflix는 W3C 스택(RDF, OWL, SHACL, SPARQL)을 활용해 엔티티 유형과 관계에 대한 기계 가독성 합의를 담은 The Observability Ontology를 구축했다. 이 계층은 Atlas, Radar, incident.io, Spinnaker 등 이질적인 시스템이 애플리케이션, 서비스, 인시던트를 참조하는 방식을 표준화한다. 데이터는 redb 기반 분산 쿼드 스토어인 QuipuDB에 저장되며, "us-east-1에서 Team Bedrock이 소유한 애플리케이션에 영향을 미친 인시던트는 무엇인가?"와 같은 복잡한 쿼리를 단일 단계로 처리할 수 있다.

비결정성에서 결정성으로

시스템은 Slack 인시던트 채널 등 비정형 데이터를 처리하기 위해 LLM과 퍼지 매칭을 사용하지만, 엄격한 타입 시스템을 통해 결정성을 보장한다. 5단계 파이프라인은 엔트로피를 줄여 에이전트의 확률적 출력을 유효한 타입이 지정된 트리플로 제한한다. 주요 설계 결정 사항은 다음과 같다:

• 엄격한 검증: 모든 ops:Application은 49,000개 항목의 카탈로그를 기준으로 검증된다.
• 순차적 강화: 레이스 컨디션을 방지하기 위해 인리처가 순서대로 실행되며, 속도보다 정확도를 우선시한다.
• 상관관계 엔진: 10분 윈도우 내에서 13가지 신호 유형(배포, 로그 오류 등)의 인과 관계를 식별하고, 신뢰도가 0.6 미만인 가설은 폐기한다.

영향 및 향후 계획

이 그래프는 엔지니어에게 순위가 매겨진 증거 기반 가설을 제공하는 에이전틱 AI 솔루션 AutoRCA를 구동한다. 경보 및 수정 프로세스는 여전히 인간이 주도하지만, 온톨로지는 시스템 컨텍스트 재구성이라는 시간 소모적인 작업을 흡수한다. Netflix는 이 온톨로지를 도메인 모델링 언어인 Upper와 통합하여 자동 복구 및 자가 치유 인프라를 위한 더 넓은 시맨틱 레이어를 구축할 계획이다.