PACE: 에이전트 능력 평가를 위한 프록시(Proxy)

PACE 프레임워크는 고비용이 발생하는 LLM 에이전트 벤치마크 성능을 예측하기 위해, 소수의 원자적(atomic) 평가 인스턴스만을 사용하는 방식을 제안한다.

이 방식은 비-에이전트(non-agentic) 벤치마크에서 선택된 인스턴스들을 **회귀 모델(regression model)**에 학습시켜 에이전트 벤치마크 점수를 예측한다. 이를 통해 평가 비용을 99% 이상 절감하면서도, 평균 절대 오차(MAE)를 4% 미만으로 유지하는 높은 정확도를 달성했다.

이 기술은 모델 개발 및 선택 과정에서 효율적인 평가 도구로 활용될 수 있다.