ProgramBench 벤치마크 공개

Facebook Research가 ProgramBench를 공개했다. 실행 파일과 README/usage 파일만으로 원본 프로그램을 다시 구현할 수 있는지 평가하는 벤치마크다.

• 200개 태스크로 구성됐고, 에이전트는 언어 선택부터 추상화 계층 설계, 전체 아키텍처 구성까지 맡는다.
• 인터넷 접속 금지, 디컴파일 금지 조건에서 블랙박스 실행 결과만으로 채점한다.
• 약 5만 달러를 들여 600만 줄의 behavioral tests를 생성한 뒤, 품질 기준으로 필터링했다.

공식 사이트와 함께 GitHub, Hugging Face, Docker 이미지가 공개됐고, pip install programbench && programbench eval <your submission>으로 바로 평가를 시작할 수 있다.

현재 공개된 결과는 폐쇄형 모델 중심이며, 오픈소스 모델은 SWE-bench 계열 과제에 더 맞춰져 있어 새 벤치마크에서 더 어려움을 겪는다고 설명했다. 제출용 공개도 곧 열 계획이다.