Meta GenRecs Tokenization, 광고 전환율 0.35% 향상

• Meta의 GenRecs Tokenization은 Generative Ads Model(GEM)과 Adaptive Ranking Model과 결합해 모든 서피스에서 전환율을 0.35% 향상시킴
• 전용 아이템 ID를 안정적인 시맨틱 어휘로 대체해 모델이 광고 콘텐츠와 사용자 선호도를 동시에 추론할 수 있게 함
• 시맨틱 토큰화를 통해 신규 생성 광고나 니치 제품과 같은 새 엔티티가 관련 아이템에서 학습된 지식을 상속받아 콜드 스타트 성능을 개선함
• 클러스터 순수도와 코드북 활용도와 같은 내재적 토크나이저 품질 지표가 다운스트림 랭킹 예측 정확도와 강한 상관관계를 보임

Technical Implementation

• 3단계 파이프라인을 통해 아이템을 시맨틱 임베딩으로 인코딩하고 독립적인 부분 공간으로 분해한 뒤 이산 토큰으로 양자화함
• 사전 학습된 멀티모달 모델이 광고 텍스트와 이미지를 읽어 세계 지식을 담은 임베딩을 생성하고, 이를 참여 데이터와 결합함
• 시스템은 학습된 인코더, 잔차 분해, 학습된 벡터 코드북을 결합한 프리픽스 n-그램을 사용하여 다수의 광고 표현을 처리함

Future Directions

• 시맨틱 토큰이 가장 큰 기여를 하는 테일 광고 인벤토리의 성능 향상을 위해 토큰화 커버리지를 확장 중
• 텍스트, 이미지, 오디오, 비디오를 아우르는 공유 토큰 공간을 탐색하여 서피스 간 표현을 통합하는 방안 모색 중