Meta Andromeda, 모델-시스템 공동 설계로 초당 10억 건 광고 처리 달성

• Meta Andromeda가 단일 GPU 서버에서 초당 10억 건 이상의 광고를 점수화하며, 2024년 시스템 대비 처리량이 100배 향상됨
• 새로운 Retrieval Mixture-of-Experts(MoE) 아키텍처가 이전 세대 대비 추론 시 FLOPs를 약 300배 줄이고 랭킹 수준에 근접한 모델 성능 달성
• NVIDIA와의 공동 협력을 통해 파이프라인 최적화, 인터랙션 네트워크 커널은 초당 100억 건 이상으로 5.3배 개선, 인덱스 매칭은 초당 1000억 건 초과
• 단일 GPU에 인덱스 매칭, 스코어링, top-K 선택을 함께 배치하여 네트워크 트래픽을 약 100배 줄이고 메모리 대역폭 병목 제거

Technical Architecture

• 단일 사용자 타워에서 전문화된 사용자 타워(전문가) 앙상블로 전환하여 다양하고 시간적으로 변화하는 사용자 관심사 포착
• MoE 기반 게이팅 네트워크가 후보를 관련 전문가로 동적으로 라우팅하여 높은 표현력을 유지하면서 계산 비용 최소화
• 융합된 GPU 커널이 사용자-광고별 전체 계산을 한 번에 실행하며, 중간 결과를 레지스터와 공유 메모리에 유지하여 High Bandwidth Memory(HBM) 트래픽 회피

Performance and Hardware

• 최적화된 게이팅 커널이 NVIDIA GH200 Grace Hopper Superchips에서 GPU의 피크 HBM 대역폭의 약 85% 달성
• INT8 양자화가 16비트 정밀도와 동등한 정확도로 FP16 커널 대비 최대 2배 추가 처리량 제공
• 2025년 이후 동일한 레이턴시 예산 내에서 더 큰 후보 풀에서 광고를 매칭하여 Facebook 전환율 2.4% 증가 달성