GEM 학습: Meta가 LLM 규모 광고 파운데이션 모델의 효율을 2배로 높인 방법

**Meta의 Generative Ads Recommendation Model(GEM)**은 Instagram과 Facebook의 광고 추천을 담당하는 파운데이션 모델이다. GEM은 수천 개의 최신 GPU에서 LLM 규모로 학습되며, 지난 12개월 동안 총 학습 연산량을 4배 늘리는 동시에 종단 간 학습 효율을 2배 높여 **20~25% Model FLOPs Utilization(MFU)**을 달성했다.

GEM은 수조 개의 희소 임베딩 파라미터와 수십억 개의 밀집 파라미터를 결합한 하이브리드 구조다. 광고 콘텐츠와 사용자 참여 데이터를 바탕으로 하며, 사용자 활동 이력 같은 시퀀스 특성과 위치·광고 크리에이티브 표현 같은 비시퀀스 특성을 각각 처리하면서 특성 간 상호작용도 학습한다.

추천 모델의 데이터와 연산 특성은 일반적인 LLM 학습 인프라를 그대로 적용하기 어렵게 만든다.

• 사용자 활동 이력의 길이가 크게 달라 패딩을 사용하면 연산량의 최대 50%가 낭비될 수 있다.
• 긴 시퀀스와 짧은 어텐션 윈도우, 긴 쿼리와 짧은 키·값처럼 비대칭적인 텐서 형태가 GPU 연산 유닛을 포화시키기 어렵게 만든다.
• 작은 임베딩 차원의 MLP와 다양한 정규화 연산은 메모리 대역폭에 묶여 GPU 활용률을 낮춘다.
• CTR·CVR 예측은 수치 변화에 민감해 단순한 저정밀도 학습을 적용하기 어렵다.

Meta는 계산 효율과 확장 효율을 함께 개선했다. 계산 측면에서는 Jagged Flash Attention(JFA), Generalized Dot-Product Attention(GDPA), BlockAttention 등 추천 workload에 맞춘 커널 라이브러리를 개발하고, MXFP8 기반 어텐션·MLP를 포함한 혼합 초저정밀도 학습을 최신 GPU 구조에 맞게 최적화했다.

확장 측면에서는 네트워크 토폴로지를 인식하는 5D 병렬화를 적용했다. 밀집 파라미터에는 2D FSDP와 Expert Parallelism을, 희소 파라미터에는 Fully Sharded 2D Model Parallelism을 결합했으며, Streaming Multiprocessor(SM)를 사용하지 않는 집단 통신과 Meta의 다계층 네트워크 구조를 함께 설계해 통신 오버헤드를 줄였다.