Parsimony 벤치마크 공개, AI 모델 코드 팽창 측정… Gemini 3.1 Pro Preview가 최소 코드 추가

코드 효율성 측정

기존 벤치마크인 SWE-bench는 해결률과 비용에 초점을 맞췄지만, 장기 유지보수 부담을 늘리는 코드 팽창은 무시했다. Parsimony는 코드 줄 수 대신 문장, 호출, 비교, 이름, 리터럴 등 구문 요소를 세는 **순 코드 단위(net coding units)**를 측정해 이 문제를 해결한다. 이는 코드 밀어넣기를 보상하지 않으며, 순 단위 = 추가됨 − 삭제됨 공식을 통해 삭제된 코드를 반영한다.

벤치마크 결과

주요 데이터셋은 34개 DeepSWE Python 작업에서 26개 모델을 평가했다(모델당 136회 시도). 순위는 해결된 작업에서 추가된 순 단위의 평균으로 결정되며, 점수가 낮을수록 코드가 간결하다. 주요 발견 사항은 다음과 같다:

• **Gemini 3.1 Pro Preview (high)**는 1,479.5 순 단위를 추가하며 1위를 차지했다(해결률 8.1%).
• **Claude Fable 5 (xhigh)**는 1,557.5 순 단위를 추가했다(해결률 74.3%).
• **Claude Opus 5 (max)**는 2,183.4 순 단위를 추가해, 높은 성능에도 불구하고 더 장황한 코드를 생성했다(해결률 74.3%).
• **GPT-5.6 Sol (max)**는 1,964.2 순 단위를 추가했다(해결률 74.3%).

방법론 및 한계

Parsimony는 작업 코드에 패치를 적용하고 테스트를 실행하지 않고 변경된 파일을 파싱하며, DeepSWE의 공개된 통과/실패 결과에 의존한다. 이 벤치마크는 DeepSWE (Python, JavaScript, TypeScript, Go), SWE-bench Verified, SWEeper-Bench (PHP) 등 여러 언어와 데이터셋을 지원한다.

• 상관관계: 더 많은 코드를 작성하는 모델일수록 더 많은 작업을 해결하는 경향이 있다(Spearman 상관관계 0.33–0.60).
• 에이전트 영향: 모든 모델이 동일한 에이전트(mini-SWE-agent)를 사용하지만, 에이전트 동작이 코드 양에 영향을 미친다.
• 범위: 코드 크기가 작다고 해서 가독성이나 설계가 더 좋은 것은 아니다.