DeepMind, GenAI 평가용 ProEval GitHub 저장소 공개

ProEval은 GenAI 평가에서 성능 추정과 실패 사례 탐지를 함께 노리는 프레임워크다. 제한된 샘플만으로도 모델 오류율을 추정하고, 동시에 다양한 실패 패턴을 더 적극적으로 찾아내도록 설계됐다. 사전 학습된 GP surrogate를 활용해 새 모델에도 바로 적용할 수 있으며, 약 ±1% 수준의 정확도를 목표로 한다.

핵심은 단순히 점수를 빨리 내는 것이 아니라, 예산이 작은 환경에서도 더 많은 버그와 취약점을 드러내는 데 있다. reasoning, safety, classification 같은 영역과 다양한 모달리티의 GenAI 평가 시스템에 쉽게 붙일 수 있다고 설명한다.

예시 코드에서는 BQPriorSampler(noise_variance=0.3)로 샘플러를 만든 뒤 sample(predictions="svamp", target_model="gemini25_flash", budget=50)를 호출해 추정치를 구한다. 이후 load_predictions()와 extract_model_predictions()로 실제 예측 행렬을 불러와 실제 오류율과 비교한다.

실험은 python -m experiment.exp_performance_estimation --dataset svamp --n-runs 5로 실행할 수 있으며, GSM8K, MMLU, StrategyQA, Jigsaw 등에서 검증됐다고 적는다. 저장소는 Apache 2.0 소프트웨어와 CC-BY 자료로 배포되며, 공식 Google 제품은 아니라고 명시한다.