Google, PLE 벤치마크 공개... 모든 프런티어 모델 50% 미만 점수

Google AI & Infrastructure가 Mercor와 함께 개발한 새로운 벤치마크 및 오픈 컴피티션 PLE(Physical-Engineering’s Last Exam)를 발표함. 이 벤치마크는 프런티어 AI 에이전트의 실제 기계, 전기, 토목, 구조 엔지니어링 작업 수행 능력을 평가함.
테스트된 14개 프런티어 모델 모두 프라이빗 테스트 세트에서 50% 미만의 점수를 기록했으며, 네이티브 하네스에서 가장 높은 성능을 보인 모델의 평균 점수는 48.3%였음.
PLE는 기계(30개), 전기(27개), 토목(18개), 구조(10개) 분야를 아우르는 85개의 롱호라이즌 태스크로 구성됨. 에이전트는 작업당 평균 61개의 파일(CAD 도면, BIM 모델 포함)을 처리하여 규격 준수 및 비용 효율적인 설계를 산출해야 함.
에이전트 하네스보다 모델 선택이 성능에 훨씬 큰 영향을 미침. 동일 모델의 하네스 간 중앙값 차이(3점)와 비교할 때 모델 간 점수 차이는 최대 50점에 달함.
ple-bench.com에서 29개의 공개 태스크, 채점 도구, 오픈 컴피티션 리더보드를 제공하며, 13개의 Google 후원 모델은 Google 서버에서 무료로 평가 가능함.
벤치마크는 전문가가 작성한 태스크(44개)와 공동 작성한 태스크(41개)를 구분함. 후자는 에이전트 파이프라인으로 조립된 후 면허를 가진 엔지니어가 검증함.

핵심 내용