Airbnb, 실제 DB 트래픽 재현 시스템으로 MySQL 8.0 마이그레이션 성공

Airbnb는 분산된 클라이언트 측 쿼리 로깅 시스템을 ProxySQL 기반의 통합 인프라로 교체하여 실제 프로덕션 데이터베이스 트래픽을 캡처하고 재현하는 시스템을 구축했다. 이 시스템은 합성 벤치마크의 한계를 극복하고 트랜잭션의 전체적인 모습을 제공하여 정확한 부하 테스트, 용량 계획, 데이터베이스 업그레이드 호환성 검증을 가능하게 한다.

시스템 아키텍처

이 솔루션은 ProxySQL을 통과하는 트래픽을 처리하는 세 가지 내부 구성 요소로 이루어져 있다.

• Log Mover: ProxySQL 쿼리 로그를 로컬 디스크에서 클라우드 오브젝트 스토리지로 전송하는 사이드카.
• Log Processor: 바이너리 로그를 디코딩하고 클러스터별로 쿼리를 분할하며, 트랜잭션을 원래 순서로 재조립해 5분 단위로 버킷화하는 오프라인 작업. 또한 INSERT 문을 재작성하여 last_insert_id 값을 고정함으로써 재현 시 다양한 데이터베이스 엔진에서 일관된 동작을 보장한다.
• Log Replayer: API 서버, 작업 스케줄러, 수평 확장 워커 플릿으로 구성된 분산 시스템. 설정 가능한 속도(예: 2배 트래픽)로 부하 테스트를 수행하는 Replay only 모드와 동일한 쿼리를 두 대상에 실행해 차이를 감지하는 Replay and compare 모드를 지원한다.

업그레이드 및 용량 계획에 미친 영향

이 시스템은 Airbnb의 MySQL 5.7에서 8.0으로의 마이그레이션 과정에서 핵심적인 역할을 했다. 재현 테스트를 통해 MySQL 8.0.20+의 행 정렬 변경으로 인해 지연 시간이 0.03초에서 2.6초로 증가하는 특정 성능 저하 패턴을 발견했다. 또한 고유한 정렬 기준이 없는 LIMIT 적용 시 행 순서가 비결정적으로 되는 정확성 문제를 찾아냈으며, 명시적 정렬을 추가하여 해결했다.

용량 계획 측면에서는 프로덕션 트래픽을 더 높은 배수로 재현하여 향후 성장을 모델링한다. 한 사례에서는 대형 클러스터에서 쓰기 트래픽을 80% 더 재현했을 때 평균 커밋 지연 시간이 6 ms에서 34 ms로 증가하여, 실제 트래픽 도달 전 클러스터의 한계를 파악할 수 있었다. 이를 통해 팀은 피크 시즌 전에 클러스터 크기를 최적화하고 비용을 절감할 수 있다.