Meta, GEM으로 전환율 18.9%·클릭률 12% 끌어올려

Meta가 2026년형 **Generative Ads Model (GEM)**을 공개했습니다. Facebook, Instagram, Reels의 광고 최적화를 통합하는 단일 Foundation Model로, 도메인별 독립 최적화에서 벗어나 LLM-scale compute와 새로운 아키텍처를 적용해 전통적인 스케일링 한계를 돌파했습니다. 이를 통해 모든 광고 지면과 목표에서 전환율 18.9%, 클릭률(CTR) 12% 향상을 달성했습니다.

Kunlun 아키텍처와 Scaling Laws

핵심 기술은 최신 GPU 하드웨어와 모델을 공동 설계한 Kunlun 아키텍처입니다. 기존 추천 시스템의 한계를 극복하며 LLM과 유사한 scaling laws를 따릅니다. 최대 사전 학습 규모에서 모델 복잡도를 2.5배 높이고, 동일한 연산량으로 이전 Interformer 버전 대비 2배의 성능을 구현했습니다.

주요 아키텍처 혁신:

• Block Attention: 전체 셀프 어텐션을 대체해 시퀀스 길이 대비 복잡도를 2차에서 선형으로 감소시킴
• Generalized Dot-Product Attention (GDPA): pFFN을 단일 GPU 커널로 재구성해 순방향 속도 최대 2배 향상
• CompSkip: 연산 생략 메커니즘으로 품질 손실 최소 상태에서 FLOPS 43% 절감
• OneSeq: 이질적인 사용자 시퀀스를 시간 순서대로 통합해 GPU 효율 극대화

지능 이전 및 서빙 효율

대형 모델의 실시간 서빙 지연과 비용 문제를 해결하기 위해 GEM의 내부 표현을 다운스트림 모델로 이전하는 학습 후 기법 LoopFM을 도입했습니다. 지식 증류와 결합해 추가 연산 오버헤드 없이 지능 이전 효과를 2배로 높였습니다.

또한 LLM 서빙 기법을 차용한 **Speculative Precomputation (Solaris)**는 상위 광고 후보의 파운데이션 모델 임베딩을 백그라운드에서 비동기적으로 사전 계산합니다. 정확한 임베딩이 없을 경우 유사 사용자나 광고 그룹의 집계 데이터를 사용해 요청 누락 없이 준실시간 지능 전달을 보장합니다.

통합 크로스 도메인 학습

GEM은 수십 개 지면과 3.6억 DAU에 걸친 독립 예측 시스템을 단일 통합 연산 엔진으로 대체했습니다. 이 엔진은 Facebook, Instagram 등 모든 지면과 오프사이트 전환, 모바일 앱 설치 등 모든 목표에 대해 클릭과 전환을 공동 예측합니다.

학습 레시피:

• Cost-Free Data Mixing: 물리적 데이터 병합 없이 가상 데이터 로딩으로 혼합 비율을 제어해 저장 비용과 과적합 감소
• Domain Expert Framework: 통합 표현을 위한 공유 전문가와 지면별 패턴을 위한 도메인 특화 전문가를 활용해 크로스 도메인 및 전문 지식 모두 활용

학습 효율 및 향후 전망

Meta는 지난 12개월간 총 학습 FLOPs를 4배로 늘리는 동시에 End-to-End (E2E) 학습 효율을 20-25% MFU로 2배 향상시켰습니다. 이는 토폴로지 인식 5D 병렬 처리, Jagged Flash Attention 같은 커스텀 커널, MXFP8 혼합 초저정밀도 학습을 통해 달성했습니다.

향후 계획에는 GEM을 모든 플랫폼 데이터(오가닉 및 광고, 텍스트, 이미지, 비디오)로 학습을 확장하고 LLM-scale long contexts를 구축해 타겟팅 효율과 광고 관련성을 높이는 작업이 포함됩니다.