AI BriefingPinterest, Ray 기반 통합 파이프라인으로 모델 평가 시간 32% 단축
·2026.11.05 01:01
핵심 내용
Pinterest가 Ray를 활용해 모델 평가 시간을 32% 단축했다
자세히 보기
- Pinterest가 Ray와 Apache Spark를 결합한 통합 모델 평가 파이프라인을 도입하여, 비통합 순차 작업 대비 엔드투엔드 실측 시간을 25~32% 단축함
- 시스템은 지표 분해 가능성을 기본 원리로 삼아, 분해 가능, 전체, 그룹별 지표를 위한 공통 계약을 정의하고 배치 수준 부분 계산을 지원함
- 공유 객체 저장소를 통해 지표 계산과 GPU 추론을 겹치게 하여 예측 결과를 S3에 기록하고 다시 읽는 과정을 제거하고, 클러스터 시작 및 데이터 이동 오버헤드를 없앰
- 최대 300만 행과 300개 실험을 대상으로 한 Pin Ranking Model 벤치마크에서, 통합 런타임은 실험당 약 41초로 선형 증가하고 시작 시간은 일정하게 유지되는 반면, 비통합 파이프라인은 별도 지표 단계로 인해 실험당 약 11초가 추가됨
- MAE, ROC-AUC(혼동 행렬 근사), Precision@K(그룹 무결성을 보장하기 위한 버킷 세그먼트) 등 추천 시스템의 특정 지표를 지원함
이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.
