카카오, AI 활용 역량 검증하는 'AI TOP 100' 출제 비하인드 공개

카카오가 개최한 AI TOP 100 경진대회의 출제 과정이 공개되었습니다. 이번 대회는 AI 모델의 성능이 아닌, AI를 활용해 현실 문제를 해결하는 '사람의 역량'을 측정하는 데 초점을 맞췄습니다.

출제 원칙: 과정과 협업의 평가

출제진은 단순한 결과물이 아닌 Human-in-the-loop(인간-AI 협업 루프)를 핵심 원칙으로 삼았습니다. 사람의 분석, AI의 문제 해결, 사람의 검증이라는 프로세스가 작동하는지 확인했으며, AI가 단번에 풀 수 없는 '명확성의 역설'을 피하기 위해 기술적 한계를 의도적으로 심어두었습니다. 또한 특정 해법을 강요하지 않고 다양한 접근을 허용하는 열린 구조를 지향했습니다.

공정성 확보와 난이도 설계

참가자 간 부정행위를 원천 차단하기 위해 데이터셋 개인화 전략을 채택했습니다. 참가자마다 수치나 고유명사가 다른 데이터를 제공하여 답안 공유를 무력화했습니다. 난이도 조절을 위해 문제당 Easy, Medium, Hard의 다문항 구조를 적용했으며, 객관식 보기의 랜덤화와 주관식 검증 포인트 제공 등을 통해 미세 조정을 거쳤습니다.

검증 프로세스와 최신 모델 대응

출제 과정은 아이디어부터 최종 확정까지 4단계 파이프라인을 거쳤고, 출제위원 내부 테스트, 알파 테스트, 비공개 베타 테스트 등 3단계 실증 절차를 반복했습니다. 특히 본선 3일 전 Gemini 3가 공개되었으나, 설계된 킬러 문항들은 최신 모델의 성능 향상에도 불구하고 여전히 인간의 분석과 검증을 요구하는 구조임을 확인했습니다.