카카오, AI 협업 환경 평가 체계 및 AI 기반 해커톤 시스템 구축 사례 공개

카카오는 AI 모델과 인간-AI 협업 프로세스의 성능을 지속적으로 측정하고 개선하기 위한 평가 체계를 구축했다. 정량적 평가에서는 정확도 외에도 정밀도, 재현율, F1 점수, 응답 지연 시간 등 업무 특성에 맞는 다양한 지표를 활용한다. 코드 생성 AI의 경우 버그 포함 여부나 코딩 컨벤션 준수율 등을 추가하며, 정성적 평가로는 실제 사용자 인터뷰와 사내 전문가의 피드백을 통해 유용성을 검증한다.

카카오 AI 캠퍼스의 '10K 해커톤' 사례에서는 48시간 만에 250명 규모의 AI 심사 시스템을 구축했다. Gemini로 기획서를 자동 생성하고 v0로 UI를 설계했으며, Claude Code를 활용해 Spring AI와 Kotlin 기반의 백엔드 및 프론트엔드 코드를 자동 생성했다. API 명세서 설계부터 프론트-백엔드 연동까지 AI 에이전트가 수행하여 개발 속도를 극대화했다.

하지만 배포 단계에서 로드밸런서 환경의 세션 불일치와 쿠버네티스 설정 오류가 복합적으로 발생하자, AI는 단일 문제에만 집중해 해결책을 찾지 못했다. 결국 개발자의 로그 분석과 코드 리뷰를 통해 문제를 해결했으며, 이는 복잡한 아키텍처 진단과 예외 상황 대응에는 여전히 인간의 경험이 필수적임을 시사한다. 또한 코드량이 증가하면서 AI의 컨텍스트 관리가 어려워지자, 단순 보조가 아닌 아키텍처 설계자로서의 개발자 역할이 강조되었다.