머신러닝 대규모 데이터 처리를 위한 Dataflow의 진화

Google은 20년 전 MapReduce를 개발한 이후, Gemini나 Waymo와 같은 최첨단 AI 모델을 지원하기 위해 데이터 처리 플랫폼을 지속적으로 발전시켜 왔다. 그 결과물인 Flume의 혁신 기술은 현재 완전 관리형 배치 및 스트리밍 플랫폼인 Dataflow에 적용되어 확장성, 효율성, 개발자 경험을 극대화하고 있다.

대규모 확장성 문제를 해결하기 위해 도입된 주요 기능은 다음과 같다:

• Liquid sharding: 실행 중 작업 단위를 동적으로 분할하여 데이터 불균형을 해소하고 워커 효율을 높인다.
• Global compute: 데이터 지역성과 리소스 가용성을 고려해 전 세계 인프라에 워크로드를 최적으로 배치한다.
• Automatic pipeline optimization: 연속된 작업을 단일 단계로 통합해 I/O 및 전환 오버헤드를 줄인다.
• Rate-limiting external API calls: 외부 API 호출 속도를 조절해 모델 평가 등 현대적 ML 파이프라인의 과부하를 방지한다.
• Tandem pools: 외부 모델 서버를 효율적으로 호스팅하고 오토스케일링하여 서버리스 원격 추론을 지원한다.

또한, TPU와 같은 가속기 활용도를 높이기 위한 최적화 기능도 제공한다:

• Heterogeneous worker pools: 파이프라인 단계별로 CPU 또는 TPU 등 맞춤형 리소스를 할당한다.
• TPU-aware autoscaling: TPU 워커의 과도한 초기 할당을 방지하고 효율적인 오토스케일링을 지원한다.
• Duty-cycle policy enforcement: 가속기 사용률이 낮을 때 TPU 워크로드를 자동으로 축소한다.
• TPU fungibility: 쿼터와 리소스 상황에 맞춰 가장 적합한 TPU 버전과 위치에 작업을 스케줄링한다.