사용자 시퀀스에서 스케일링 법칙까지: Meta 광고 랭킹을 위한 다단계 아키텍처

Meta가 광고 추천을 위한 시퀀스 학습 아키텍처를 확장했다. 핵심은 무거운 사용자 모델링을 오프라인에서 처리하고, 온라인에서는 가벼운 랭킹 작업만 수행하는 다단계 시퀀스 모델이다.

오프라인 사용자 모델은 긴 사용자 행동 이력을 비동기적으로 처리해 깊은 행동 패턴을 담은 임베딩을 생성하고 캐시한다. 온라인 랭킹 모델은 이 임베딩을 실시간 광고 후보 신호와 결합해 최종 순위를 계산한다. 이를 통해 서빙 자원 사용량을 크게 늘리지 않고도 Transformer 모델과 사용자 시퀀스의 규모를 확장할 수 있다.

또 다른 핵심 기술은 dense tokenization과 target-aware attention이다. 수작업으로 설계한 희소 특징에 의존하는 대신, 데이터에서 특징 간 상호작용을 직접 학습해 시퀀스 모델과 랭킹 모델 사이의 정보 손실과 확장성 한계를 줄인다.

이 플랫폼과 관련 모델 혁신은 누적 기준으로 Instagram 전환율을 6%, Facebook 전환율을 3%, Facebook 광고 클릭을 3.5% 높였다. 해당 시퀀스 모델링 플랫폼은 Meta의 **Generative Ads Recommendation Model(GEM)**의 핵심 구성 요소로 활용된다.