스냅, 데이터 처리 가속화 오픈 라이브러리로 Snapchat A/B 테스트 성능 강화

Snapchat은 매달 수천 건의 실험을 진행하며, 매일 아침 3시간 동안 10PB 이상의 데이터를 Apache Spark로 처리한다. 이를 위해 NVIDIA cuDF를 도입하여 기존 CPU 기반 워크플로우를 NVIDIA GPU 가속 방식으로 전환했다.

이번 전환을 통해 동일한 머신 수로 데이터 처리 속도를 4배 향상시켰으며, Google Kubernetes Engine 상에서 CPU 대비 일일 비용을 76% 절감하는 성과를 거두었다.

특히 Google Cloud의 G2 VM과 NVIDIA L4 GPU를 최적화하여, 당초 예상했던 5,500개의 GPU 대신 단 2,100개의 GPU만으로도 목표한 실험 규모를 처리할 수 있게 되었다. 스냅은 향후 이 가속화 기술을 더 넓은 범위의 프로덕션 워크로드로 확대할 계획이다.