Meta Adaptive Ranking Model: 광고에 LLM 규모 모델을 제공하기 위해 추론 스케일링 곡선을 바꾸다

Meta Adaptive Ranking Model은 광고 추천의 핵심 난제인 inference trilemma를 정면으로 다룬다. 모델을 더 크고 복잡하게 만들수록 계산과 메모리 비용은 급증하지만, 전 세계 수십억 명에게 제공되는 서비스는 여전히 sub-second latency와 높은 비용 효율을 유지해야 한다.

이를 해결하기 위해 Meta는 모든 요청에 같은 모델을 적용하는 방식 대신, 요청의 context와 intent에 따라 최적의 모델을 고르는 intelligent request routing을 도입했다. 그 결과 더 정교한 이해를 제공하면서도 광고 서비스의 응답 속도와 운영 효율을 유지하는 방향으로 설계를 바꿨다.

핵심 혁신은 세 가지다.

• Inference-efficient model scaling: 요청 중심 구조로 바꿔 O(10 GFLOPs) 수준의 LLM급 복잡도를 다루면서도 O(100 ms) 수준의 bounded latency를 유지한다.
• Model/system co-design: 하드웨어 특성에 맞춘 아키텍처와 실행 최적화로 다양한 장비 환경에서 **MFU 35%**까지 끌어올렸다.
• Reimagined serving infrastructure: multi-card GPU 아키텍처와 하드웨어 특화 최적화로 O(1T) 파라미터 규모까지 서비스할 수 있게 했다.

추론 효율 측면에서는 기존처럼 사용자-광고 쌍을 각각 처리하지 않고, 요청당 한 번만 계산한 고밀도 사용자 신호를 여러 후보 광고에 재사용한다. 이 방식은 Request-Oriented Optimization, Request-Oriented Computation Sharing, In-Kernel Broadcast를 통해 중복 계산과 메모리 대역폭 부담을 줄이고, 긴 사용자 행동 시퀀스도 요청 단위로 처리해 재사용한다.

아키텍처는 Wukong Turbo로 진화했다. 기존 Wukong architecture를 기반으로 No-Bias 접근, 작은 파라미터를 분산시키는 delegation, FSDP에서 DDP로의 오프로딩, sparsity 기반 단순화를 더해 깊은 모델에서 발생하는 불안정성과 네트워크 오버헤드를 줄였다.

또한 feature preprocessing 병목도 정리했다. 클라이언트 CPU에서 하던 전처리를 원격 GPU 호스트로 옮기고, tuple 기반 포맷과 GPU-native kernel을 사용해 Top-K 복잡도를 **O(N log N)**에서 **O(N)**으로 낮췄다. 데이터 압축과 클라이언트 플로우 재구성까지 더해 지연 페널티를 없앴다.

하드웨어 측면에서는 선택적 FP8 quantization과 그래프/커널 specialization을 적용했다. 미세한 정밀도 손실에 민감하지 않은 레이어에만 FP8을 쓰고, shared-input 연산을 fuse하며 Grouped General Matrix Multiply와 horizontal fusion으로 작은 연산들을 고밀도 커널로 묶어 실행 효율을 높였다.

대규모 임베딩 운영도 재설계했다. sparse categorical feature를 다루는 광고 추천 특성상 embedding table이 테라바이트급으로 커질 수 있는데, 이 시스템은 feature sparsity에 맞춰 hash size를 조절하고 unused embedding을 pruning하며, 여러 feature가 하나의 table을 공유하는 unified embeddings로 메모리 사용량을 줄였다. 더 큰 규모의 임베딩은 multi-card sharding으로 분산해 단일 GPU의 물리적 한계를 넘었다.

운영 안정성도 강화했다. multi-stream downloading과 remote caching으로 모델을 10분 이내에 로드하고, streaming multiprocessor utilization 기반 auto-scaling으로 트래픽 변동에 맞춰 자원을 조절한다. Meta는 이 모델을 Instagram에 Q4 2025에 출시한 뒤, 타깃 사용자 기준 ad conversions +3%, **ad click-through rate +5%**를 기록했다고 밝혔다.

앞으로는 개별 최적화보다 더 자율적인 인프라로 나아간다. 더 긴 행동 시퀀스, 더 낮은 precision, agentic optimization frameworks, 그리고 near-instantaneous model freshness를 위한 incremental in-place weight updates가 다음 단계로 제시됐다.