Kaggle, AI 벤치마크 생성을 더욱 간편하게

AI 모델이 단순 챗봇을 넘어 코드를 작성하고 도구를 사용하는 추론 에이전트로 진화하면서, 기존의 정적인 벤치마크로는 한계가 나타나고 있다. 이에 Kaggle Benchmarks는 커뮤니티가 직접 참여하여 동적이고 엄격한 평가 환경을 구축하는 데 집중하고 있다.

이번 업데이트의 핵심은 개발자가 VSCode, Cursor 등 선호하는 로컬 개발 환경에서 직접 평가 태스크를 생성, 검증, 실행 및 다운로드할 수 있도록 지원하는 것이다. 이를 통해 아이디어 구상부터 평가까지의 과정을 더욱 빠르고 직관적으로 만들 수 있다.

또한, AI 코딩 에이전트를 활용한 새로운 워크플로우도 도입되었다. write-kaggle-benchmarks skill을 설치하면 자연어 명령만으로도 kaggle-benchmarks SDK와 Kaggle CLI를 사용하여 작동 가능한 벤치마크 태스크를 구축할 수 있다.

Kaggle은 이러한 커뮤니티 중심의 평가를 통해 AI 평가의 민주화를 실현하고, AI 모델이 실세계의 다양한 도전 과제를 반영하여 발전할 수 있도록 돕고자 한다.