신입 DevOps 엔지니어의 AI/ML 기반 자동화된 스팸 필터링 도입 경험기

인프런은 플랫폼 성장에 따른 스팸 게시글 급증 문제를 해결하기 위해 수작업 검토 대신 AI/ML 기반 자동화 시스템을 도입했다. 초기에는 GPT-4o-mini와 금지어 목록을 활용한 Few-Shot 방식으로 접근했으나, 새로운 패턴 대응과 다국어 처리에서 한계를 느꼈다.

이를 개선하기 위해 TfidfVectorizer로 텍스트를 벡터화하고, SGDClassifier를 활용한 적응형 스팸 필터를 구축했다. 해당 모델은 연산량이 적어 AWS Lambda 환경에서 0.2~0.6ms라는 매우 빠른 추론 속도를 보여주며, S3와 Jenkins를 통해 지속적인 학습이 가능하도록 설계되었다.

또한 다국어 스팸 대응을 위해 ChatGPT를 결합하여 판별 정확도를 높였으며, '스팸', '의심', '정상'의 3단계 분류 체계를 도입했다. '의심' 단계의 게시글은 Slack 알림과 이모지 자동화를 통해 운영팀의 관리 공수를 최소화했다.