Meta, ML 기반 컴퓨트 할당으로 광고 랭킹 성능 10% 향상

Meta의 Intelligent Delivery 시스템은 서빙 스택 전체에 컴퓨트 리소스를 할당해 시스템 전체 최적화를 달성하며, 2017년부터 2026년 상반기까지의 모델 및 시스템 발전에 더해 광고 랭킹 성능을 약 10% 향상시킴
LLM 규모로 확장되는 광고 랭킹 모델의 도전을 해결하기 위해, 요청, 모델, 하드웨어에 따라 추가 컴퓨트의 영향이 달라지는 점을 고려해 ML로 컴퓨트의 한계 효용을 예측함
6B 희소(sparse) 파라미터와 20M 밀집(dense) 파라미터를 갖춘 Resource Core Model이 고영향 광고 요청을 식별하며, 이전 프로덕션 모델 대비 오프라인 벤치마크에서 식별 정확도를 약 20% 개선함
Agentic AI가 Intelligent Delivery 최적화의 약 20%를 담당하며, 가장 자동화된 메커니즘의 엔지니어링 노력의 최대 80%를 처리해 최적화 주기를 몇 개월에서 몇 주로 단축함
할당 메커니즘은 세 가지 수준에서 작동하며, 지역 간 트래픽을 이동시켜 한계 효율을 균등화하고, 측정된 효율에 따라 워크로드를 특정 하드웨어(Intel, AMD, Arm, NVIDIA, MTIA)에 할당하며, 지연 SLO 내에서 호스트별 리소스 사용량을 최적화함
향후 작업은 요청 이해와 서빙을 단일 실시간 모델로 융합하고, Meta의 Generative Ads Model(GEM)과 같은 대형 모델의 GPU 기반 서빙에 최적화 레버를 적응하는 데 초점을 맞춤

핵심 내용