Pinterest, 멀티 에포크 학습 적용으로 온라인 저장 1.09% 향상

• Pinterest가 홈피드 랭킹 모델에 멀티 에포크 학습을 적용하여 임베딩 테이블 최적화를 네트워크 나머지 부분과 분리함으로써 온라인 저장(세이브)을 1.09% 향상시킴
• 초기 학습 에포크 동안 임베딩 테이블을 동결하고 마지막 에포크에서만 적응을 허용하여 재앙적 과적합을 방지했으며, 단일 에포크 베이스라인 및 완전 동결 멀티 에포크 구성보다 우수한 성능을 기록함
• 반동기식(semi-synchronous) 학습 파이프라인을 통해 분산 임베딩 통신을 계산과 오버랩시켜, 이전에는 전체 학습 시간의 15% 이상을 차지했던 희소 ID 조회로 인한 GPU 유휴 시간을 감소시킴
• 융합된 ID 조회와 특수한 싱글턴 행 연산 등 시스템 최적화로 집합 지연 시간과 커널 수를 줄였으며, 그라디언트 축적으로 옵티마이저 통신 비용을 분산시킴

Training Strategy

• 지연된 임베딩 업데이트: 테이블을 첫 번째 에포크 동안 동결하고 두 번째 에포크에서 공동 학습(co-training)을 수행했을 때 20일 데이터 윈도우에서 1.16%의 향상을 보인 반면, 첫 번째 에포크부터 공동 학습을 시작하면 0.80%의 회귀(regression)가 발생함
• 그라디언트 격리: 헤드 및 페어와이즈 손실로부터의 그라디언트를 차단하고 대조적(contrastive) 경로만 유지하는 방식은 과적합을 방지했으나 완전 동결 전략보다 성능이 낮음
• VLM 최적화: 지연된 방식은 새로 추가된 비전 언어 모델(VLM)이 임베딩 테이블 열화를 유발하지 않고 더 오래 최적화할 수 있도록 허용함

System Efficiency

• 반동기식 파이프라인: 룩어헤드 데이터로더와 프리페칭 포워드 래퍼를 사용한 커스텀 구현으로, 현재 배치의 계산과 다음 배치의 임베딩 조회를 오버랩시킴
• 제한된 스탈니스(bounded staleness): 프리페칭된 임베딩은 1회 업데이트의 지연을 보였으나, 연속 배치 간 희소 ID의 중복이 낮아 모델 품질 저하가 관찰되지 않음
• 커널 최적화: 융합된 학습 ID 조회로 집합 호출을 최대 3분의 1로 줄였으며, 원자적 스캐터-애드(atomic scatter-add)를 밀집 GEMM 연산으로 대체하여 작은 임베딩 테이블의 그라디언트 계산 효율을 향상시킴