카카오, KCC 2024서 광고 추천 및 스팸 필터링 기술 공개

카카오는 KCC 2024의 Kakao Tech Workshop에서 AI 및 ML 기술을 활용한 추천 시스템과 스팸 필터링 사례를 발표했다. 발표는 크게 '좋은 추천을 위한 노력'과 '클린 플랫폼 구축 노력' 두 가지 주제로 나뉘어 진행되었다.

광고 추천 시스템 고도화

카카오는 실시간 광고 추천 서빙을 위해 버킷 시스템을 소개했다. 이 시스템은 모델 동기화 방식과 동적 모델 결정 방식을 결합하여, 서빙 코드 변경이나 배포 없이도 모델의 선택, 변경, 관리를 가능하게 한다. 또한 배치 추론 환경에서는 다양한 광고주와 목적에 최적화된 다량의 모델을 안정적으로 관리하기 위한 스케줄러 구성과 운영 사례를 공유했다.

리타게팅 광고의 경우 신뢰성, 응답성, 확장성을 고려한 데이터 중심 파이프라인 설계를 통해 빠른 데이터 처리를 구현했다. 아울러 노출 편향과 귀납 편향 완화를 위한 실험(e.g., 노출 편향 완화 가중치 도입, MAB 보상 변경)을 통해 과도한 학습으로 인한 성능 저하를 방지하는 방안도 제시했다.

LLM 기반 스팸 대응 및 클린 플랫폼

스팸 필터링 영역에서는 이미지와 텍스트 모두에 AI 기술을 적용한 사례를 다루었다. 성인 이미지 필터링에는 Transformer 도입과 라벨링 프로세스 개선을 통해 병목 현상을 해결하고 성능을 높였다. 텍스트 스팸 대응에는 LLM을 도입하여 분류 결과뿐만 아니라 '분류 사유'까지 운영자에게 제공함으로써 최종 판단을 돕는 구조를 구축했다. 특히 카카오의 규제 정책에 특화된 스팸 LLM을 자체 개발하여 학습 데이터 수집과 환각 방지 등을 고려했다.