Meta, 유휴 AI 추론 용량 활용해 광고 추천 성능 강화

Meta는 자사 인프라 전반에 흩어져 있는 유휴 추론 용량을 집계해 광고 추천 성능을 개선하는 시스템을 개발했습니다. 이는 수요, 하드웨어 유형, 지역 가용성의 불일치로 인해 전체적으로는 용량 부족 상태지만, 곳곳에 미사용 자원이 존재하는 추론 용량 역설을 해결하기 위한 접근법입니다. 이 기회적 용량을 활용함으로써 추가 하드웨어 도입 없이 광고 관련성과 광고주 성과를 높였습니다.

두 가지 탄력성 레버

시스템은 변동성이 큰 용량을 안전하게 소비하기 위해 두 가지 상호 보완적 메커니즘을 사용합니다:

• Rank More Ads (RMA): CPU와 가속기 용량이 모두 가용할 때 랭킹 단계에서 평가하는 광고 후보 수를 늘립니다.
• Serve Better Models (SBM): 가속기 용량만 잉여일 때 더 강력한 모델로 요청을 라우팅하며, 상류 CPU 수요는 안정적으로 유지합니다.

안전성 및 격리

기본 성능 보호를 위해 SBM에는 물리적 격리를, RMA에는 논리적 격리를 적용합니다. 물리적 격리는 기본 모델과 강력한 모델이 각각 다른 라우팅 대상을 사용하도록 보장하며, 논리적 격리는 기회적 복제본으로 지원되는 전역 예산 내에서만 RMA 작업을 제한합니다. 용량이 회수될 경우, 전용 기본 용량을 과부하 시키지 않고 선택적 작업을 줄이는 방식으로 우아하게 성능을 저하시킵니다.

제어 및 로드 셰딩

시스템은 워크로드를 동적으로 조정하기 위해 피드백 루프에 의존합니다. RMA는 PID 컨트롤러를 사용해 꼬리 지연 시간에 따라 후보 볼륨을 조정하고, SBM은 중앙 컨트롤러로 모델 커버리지를 관리합니다. 갑작스러운 용량 손실 시 서버 및 클라이언트 레벨의 가치 인식 로드 셰딩이 밀리초 단위로 반응하여 저가치 작업을 드롭함으로써 지연 시간 및 신뢰성 목표를 충족합니다.