Meta, RecSys 추론 최적화 IKBO 공개
커널 내 브로드캐스트 최적화(IKBO): RecSys 추론을 위한 커널 공동 설계 | 파이토치 한국 사용자 모임
·2026.07.13 22:46
Meta가 추천 모델 추론 시 발생하는 중복 데이터 복제 오버헤드를 제거하는 IKBO 기술을 공개했다.
Meta는 추천 시스템(RecSys) 추론 과정에서 사용자 임베딩을 모든 후보(candidate)에 대해 명시적으로 복제하며 발생하는 메모리 및 IO 낭비를 해결하기 위해 커널-모델-시스템 공동 설계(co-design) 방식인 **IKBO(In-Kernel Broadcast Optimization)**를 도입했다.
IKBO는 브로드캐스트 로직을 사용자-후보 상호작용 커널에 직접 융합하여, 텐서 복제 없이 서로 다른 배치 크기를 가진 입력을 내부적으로 처리한다. 이를 통해 다음과 같은 성과를 달성했다.
- 지연 시간 감소: 연산 집약적인 순(net) 지연 시간을 최대 2/3까지 단축했다.
- 처리량 향상: H100 SXM5 환경에서 TLX(Triton) 워프 특화 융합을 통해 기존 대비 최대 6.4배의 처리량 향상을 기록했다.
- 메모리 효율: Flash Attention 커널을 IO 바운드에서 **연산 바운드(compute-bound)**로 전환하며 높은 TFLOPs를 달성했다.
이 기술은 Meta의 다단계 추천 퍼널 전반과 GPU 및 MTIA(Meta Training and Inference Accelerator) 하드웨어 모두에 배포되어 확장성의 근간 역할을 하고 있다.
이 요약은 원문 이해를 돕기 위한 큐레이션입니다. 저작권은 원저작자에게 있으며, 정확한 내용과 맥락은 원문을 확인하세요.
요약 오류, 출처 표기 문제, 삭제 요청은 문의 · 건의로 알려주세요.