카카오, 텍스트 모니터링 보조 LLM 도입… 운영자 판단 근거 설명으로 효율성 제고

카카오가 텍스트 기반 유해 콘텐츠 모니터링을 위해 내부 프로젝트 '하몽(jamon)'으로 불리는 LLM을 도입했다. 이는 장문 게시물의 숨겨진 불법 홍보 문구를 탐지하고 운영자의 판단을 돕는 보조 도구로 설계되었다.

운영자 중심의 어시스턴트 역할

초기 자동 차단 중심에서 벗어나, 운영자가 콘텐츠가 유해하다고 판단된 '이유'를 이해할 수 있도록 설명 기능을 강화했다. LLM은 단순 분류가 아닌 규제 여부, 요약, 키워드, 규제 사유 등을 JSON 형식으로 제공하여 오탐으로 인한 불필요한 재검토 시간을 줄이고 업무 효율성을 높였다.

모델 구성 및 학습 전략

80억 개 매개변수를 가진 모델을 기반으로 A100 GPU 환경에서 안정적으로 추론하도록 최적화했다. 실시간 분류(0/1 응답)와 모니터링 보조(JSON 상세 설명)의 투트랙 전략을 적용했으며, 표현 다양화 및 데이터 불균형 해결 전략을 통해 분류 경계 데이터 증강의 효과를 확인했다.

성과 및 효과

구조화된 분석 결과 제공으로 모니터링 시 고민하는 시간이 기존 대비 20% 이상 단축되었다. 또한 스팸 변형에 대한 재현율(Recall)이 대폭 개선되어 다양한 스팸 패턴을 더 잘 탐지하게 되었으며, 실제 운영 환경에서 오탐으로 인한 피로도를 줄이는 데 기여했다.