GPT-5.5 low vs medium vs high vs xhigh: 오픈소스 저장소의 실제 작업 26개에서 본 추론 곡선

GPT-5.5 Codex의 추론 노력(reasoning effort) 설정을 low, medium, high, xhigh로 나누어 실제 오픈소스 저장소(GraphQL-go-tools)의 작업 26개를 수행한 실험 결과다.

핵심은 추론 노력이 높아질수록 단순한 테스트 통과율보다 **의미적 동등성(Semantic Equivalence)**과 코드 리뷰 통과율에서 훨씬 더 극적인 개선이 나타난다는 점이다.

설정별 성능 비교

• low & medium: 테스트 통과율은 21/26으로 동일하지만, medium 설정이 저장소의 도메인 의미를 더 잘 모델링하여 동등성과 리뷰 품질이 눈에 띄게 향상됨.
• high (최적의 균형): medium 대비 모든 지표가 개선되었으며, 비용($4.49) 대비 성능 향상 폭이 가장 커 실용적인 기본 설정으로 나타남.
• xhigh (고비용 고품질): 품질은 가장 높지만 평균 비용이 $9.77로 급증하고 실행 시간이 길어지며, 사람이 만든 패치보다 더 많은 코드를 수정하는 풋프린트 위험이 증가함.

결론 및 시사점 단순히 테스트 통과 여부(이진 결과)만 측정하는 기존 벤치마크는 AI 에이전트의 실제 엔지니어링 능력을 제대로 반영하지 못한다. 에이전트가 생성한 패치가 사람의 의도와 일치하는지, 그리고 유지보수 가능한 수준인지를 측정할 수 있는 자체적인 평가 체계(Harness)가 필수적이다.