Apex-Testing 코딩 벤치마크 업데이트

Apex-Testing은 기존 벤치마크의 데이터 편향 및 '벤치맥싱(benchmaxxing)' 문제를 해결하기 위해 설계된 실제 환경 기반의 에이전트 코딩 벤치마크입니다.

65~70개의 실제 프라이빗 GitHub 레포지토리를 활용하여, AI 모델이 실제 개발자처럼 코드베이스를 이해하고 버그 수정이나 기능 구현을 수행할 수 있는지 테스트합니다.

주요 특징 및 제공 지표:

• 실무 중심 태스크: 8개 카테고리에 걸친 70개의 태스크로 구성되어 실제 업무 환경을 반영합니다.
• 다양한 평가 지표: 평균 비용(Cost), 소요 시간(Time), 난이도별 점수, ELO 기반 리더보드를 제공합니다.
• 모델 비교: 최신 LLM들의 에이전트 코딩 성능을 객관적으로 비교할 수 있습니다.

현재 Qwen 및 DeepSeek 등 최신 모델들에 대한 업데이트가 진행 중입니다.