Airbnb의 identity graph, 통합 지식 그래프 인프라로 확장

Airbnb는 Trust and Safety의 핵심 기반인 identity graph를 내부에서 관리하는 지식 그래프 인프라로 옮겼다. 기존의 관계형 DB, KV 스토어, 서드파티 SaaS graph DB를 거치며 남았던 장기 지연과 운영 불안정, 제어 한계를 내부 플랫폼으로 해결하려 했다.

새 인프라는 JanusGraph, DynamoDB, OpenSearch를 결합했다. 테넌트별 네임스페이스와 스키마/인덱스 관리, Thrift API를 제공하는 관리 서비스를 얹어 paved-path, multi-tenant 그래프 플랫폼으로 구성했다. 마이그레이션 과정에서는 두 엔진이 모두 Gremlin을 지원해 shadow traffic으로 비교했고, 내부 엔진을 먼저 프로덕션에 투입한 뒤 벤더 솔루션을 폐기했다.

그래프 규모는 70억 노드와 110억 엣지이며, 하루 약 500만 개 신규 엣지가 추가된다. 대부분의 질의가 4~8 hop 탐색을 요구해 고 fanout 노드에서 P95/P99 롱테일 지연이 주요 과제로 남았다.

성능 개선은 엔진과 클라이언트 양쪽에서 진행했다.

• 트랜잭션 최적화: 기본 락 대신 DynamoDB의 conditional write와 transaction API를 사용했다.
• 병렬 조회: getMultiSlices를 병렬화해 고 fanout 질의 지연을 줄였다.
• 관측성: Airbnb의 distributed tracing을 내부 fork에 통합했다.
• 쿼리 재작성: Path, SimplePath 단계를 제거하고 side-effect step을 최소화했다.

그 결과 새 내부 인프라는 기존 벤더보다 모든 Gremlin 쿼리 패턴에서 빨랐다. read query의 P95/P99는 32~93% 낮아졌고, end-to-end read latency는 P95 2.1초→1.0초, P99 5.0초→2.5초로 줄었다. write P95도 353ms→156ms로 개선됐으며, load test에서는 write QPS를 기존 대비 10배까지 확장했다.

운영 측면에서도 벤더 솔루션에서 필요했던 주기적 인스턴스 재부팅이 사라졌고, 장애 대응과 조사도 더 빠르고 투명해졌다.