카카오, AI 에이전트로 Hadoop 기반 카카오톡 추천 지표 분석 자동화 사례 공개

카카오 소셜추천엔진팀이 Hadoop 기반 카카오톡 추천 지표 분석을 AI 에이전트로 자동화한 사례를 공개했다. 핵심은 새로운 분석 플랫폼을 구축하는 것이 아니라, 사람이 수행하던 접속·쿼리·해석 절차를 에이전트가 읽을 수 있는 Agent Skill(Markdown 문서)로 정리해 기존 인프라에 접착제처럼 얹는 방식이다.

스킬 기반 자동화 구조

개발자는 하둡 클라이언트 설치, Kerberos 인증, 테이블 탐색, 쿼리 작성 등 반복적인 절차를 hadoop-butler 플러그인으로 배포했다. AI는 이 지침을 읽고 자연어 요청에 따라 SQL을 작성·제출하며, 로그 데이터에서 인사이트를 도출한다. 이 과정에서 새로운 코드를 거의 작성하지 않고 기존 스크립트를 활용했다.

컨텍스트 문서와 오류 방지

AI의 분석 정확도를 높이기 위해 CLAUDE.md 또는 AGENTS.md 같은 컨텍스트 문서를 활용했다. 테이블 정의, 피처 의미(예: watch_length, valid_view), 집계 기준 등을 명시해 AI가 user_id와 session_user_id를 혼동하거나, Hive에서 성능이 저하되는 다중 COUNT(DISTINCT) 쿼리를 작성하는 실수를 방지했다.

검증 루프와 회귀 테스트

에이전트의 출력 품질을 보장하기 위해 LLM Judge를 활용한 다층 검증 파이프라인을 구축했다. 에이전트를 헤드리스 모드로 실행해 실제 결과를 얻고, 쿼리 실행 트레이스와 최종 출력을 비교해 PASS/FAIL을 판정한다. 이를 통해 지침 수정 시 발생할 수 있는 회귀 문제를 배포 전에 식별할 수 있게 됐다.