Meta의 광고 랭킹 혁신을 가속하는 자율 AI 에이전트 REA

Meta의 **Ranking Engineer Agent (REA)**는 광고 랭킹 모델의 ML 실험 전 과정을 자율적으로 수행한다. 가설 생성부터 학습 작업 실행, 실패 디버깅, 결과를 반영한 반복 개선까지 이어가며, 인간은 핵심 전략 결정만 맡는다.

전통적인 ML 실험은 가설 작성, 실험 설계, 학습 실행, 실패 분석, 재시도까지 각 단계가 수동으로 이어져 수일에서 수주가 걸리는 병목이었다. Meta는 이를 해결하기 위해 장기 워크플로우를 스스로 이어가는 에이전트를 만들었고, REA는 특히 멀티데이 실험을 끊김 없이 운영하는 데 초점을 맞췄다.

REA의 핵심은 세 가지다.

• Long-Horizon Autonomy: 학습 작업이 끝날 때까지 대기한 뒤 다시 깨어나는 hibernate-and-wake 메커니즘으로, 며칠 또는 몇 주짜리 실험을 연속적으로 관리한다.
• High-Quality, Diverse Hypothesis Generation: 과거 실험을 모은 Historical Insights Database와 심층 ML 연구를 수행하는 ML Research Agent를 결합해, 단일 방식으로는 나오기 어려운 가설을 만든다.
• Resilient Execution: OOM, loss explosion, 인프라 오류 같은 실패를 runbook과 우선순위 로직으로 처리하며, 엔지니어 개입 없이 허용된 범위 안에서 계획을 조정한다.

실행 구조는 REA Planner와 REA Executor로 나뉘며, 공유된 Skill, Knowledge and Tool System이 실험 데이터, 내부 인프라 연동, 코드 탐색 기능을 지원한다. Planner가 실험 계획과 GPU 비용을 제안하면, Executor가 비동기 작업을 돌리고 결과를 로그로 축적해 다음 가설 생성에 다시 활용한다.

운영 방식은 Validation → Combination → Exploitation의 3단계 계획으로 정리된다. 먼저 개별 가설을 병렬 검증하고, 그다음 유망한 아이디어를 조합하며, 마지막에는 가장 promising한 후보를 승인된 compute budget 안에서 집중 최적화한다.

첫 프로덕션 롤아웃에서 REA는 6개 모델 평균 정확도를 2배로 끌어올렸고, 엔지니어링 산출은 5배 늘렸다. 예전에는 모델당 2명의 엔지니어가 필요했던 개선 작업을, 이제는 3명의 엔지니어가 8개 모델에 대해 제안까지 낼 수 있게 됐다.

Meta는 앞으로도 REA를 고도화해 hypothesis generation용 특화 모델을 다듬고, 분석 도구를 확장하며, 다른 도메인으로도 접근법을 넓힐 계획이다. 인간은 반복 작업에서 벗어나 전략적 판단과 최종 승인에 더 집중하는 방향으로 ML 엔지니어링의 역할이 재편되고 있다.