Pinterest 파운데이션 모델의 학습 확장성을 선형에 가깝게 달성하는 방법

Pinterest는 6억 명 이상의 월간 활성 사용자(MAU)를 위한 추천 시스템을 구동하기 위해 Foundation Model을 활용하고 있습니다. 이 모델은 2년 치 사용자 활동 데이터를 사전 학습하며, 홈 피드와 관련 핀 랭킹 시스템의 핵심 역할을 합니다.

초기 멀티 노드 분산 학습 시도에서는 두 번째 머신을 추가했을 때 학습 속도가 5배 느려지는 등 0.2x 수준의 낮은 확장성(Scaling Factor) 문제를 겪었습니다. 이는 대규모 모델 학습 시 발생하는 전형적인 병목 현상입니다.

Pinterest 엔지니어링 팀은 이러한 문제를 해결하고 **Near-Linear Training Scalability(선형에 가까운 학습 확장성)**를 달성하기 위해 인프라와 소프트웨어 스택 전반을 최적화하는 데 집중했습니다.