에이전트 코딩 평가에서의 인프라 노이즈 정량화

SWE-bench나 Terminal-Bench와 같은 에이전트 코딩 벤치마크는 모델 간 성능 차이가 매우 미세하여, 인프라 설정만으로도 결과가 왜곡될 수 있다. 실험 결과, Terminal-Bench 2.0에서 리소스 설정 방식에 따라 점수 차이가 최대 6%p까지 발생했다.

에이전트 코딩 평가는 모델이 코드를 작성하고 테스트를 실행하는 전체 런타임 환경을 포함한다. 따라서 리소스 제한(CPU, RAM)은 단순한 컨테이너 환경을 넘어 문제 해결 과정의 핵심 요소로 작용하며, 리소스 예산이 다르면 모델은 서로 다른 테스트를 치르는 것과 다름없다.

Kubernetes 환경에서 실험한 결과, 리소스 할당량을 엄격하게 제한할 경우 다음과 같은 문제가 확인되었다:

• 인프라 에러율 상승: 메모리 급증 시 컨테이너가 강제 종료(OOM-kill)되어 작업 실패율이 높아짐.
• 성능 왜곡: 모델의 코딩 능력과 무관하게 인프라 불안정성으로 인해 점수가 낮게 측정됨.

리소스 여유분(Headroom)을 늘림에 따라 성능 변화는 두 단계로 나타났다:

• 3x 미만: 인프라 에러율은 감소하지만, 모델의 실제 성공률에는 큰 변화가 없다. 이는 환경의 안정성을 높여주는 단계다.
• 3x 이상: 성공률이 급격히 상승한다. 대규모 의존성 설치나 메모리 집약적인 테스트 실행이 가능해지면서, 벤치마크가 모델의 능력이 아닌 '리소스 가용성'을 측정하게 된다.