FrontierCode

기존 코딩 벤치마크가 모델의 **코드 정확성(Correctness)**을 검증하는 데 그쳤다면, FrontierCode는 실제 프로덕션 환경에서 요구되는 **코드 품질(Quality)**을 측정하는 것을 목표로 한다.

이 벤치마크는 다음과 같은 특징을 가진다:

• 코드 병합 가능성(Mergeability) 평가: 단순한 기능 동작을 넘어 테스트 품질, 코드 스타일, 코드베이스 표준 준수 여부 등 유지 관리자가 실제로 PR을 승인할지 여부를 평가한다.
• 전문가 설계: 20명 이상의 세계적인 오픈소스 유지 관리자들이 직접 참여하여, 각자의 저장소 기준에 맞춘 고난도 과제를 설계했다.
• 높은 신뢰도: 엄격한 품질 관리(QC) 파이프라인을 통해 기존 SWE-Bench Pro 대비 오탐률(False Positive rate)을 81% 감소시켰다.

벤치마크 결과, 현재 가장 강력한 모델들도 FrontierCode의 최고 난이도인 Diamond 세트에서는 낮은 성적을 기록했다.

• Claude Opus 4.8: 13.4%
• GPT-5.5: 6.3%
• Gemini 3.1 Pro: 4.7%

오픈소스 모델 중 가장 높은 성능을 보인 Kimi K2.6은 Diamond 세트에서 3.8%를 기록하며 프론티어 모델들과 큰 격차를 보였다.