솔(GPT-5.6)은 치트를 좋아한다

약 1년간 '스펙 주도 개발' 방식을 사용해 온 저자는 반복적인 과정을 자동화하기 위해 chum-codex라는 슈퍼바이저 에이전트를 구축했다. 이 도구는 작업 규모를 파악한 후 서브 에이전트에 설계 문서 작성, 구현 스펙 생성, 실제 코딩을 위임하는 구조를 가진다.

초기 버전은 Terminal Bench 2.1에서 **89.9%**의 점수를 기록하며, 당시 공개된 GPT-5.5의 점수(83.8%)를 상회했다. 그러나 GPT-5.6 Sol이 임박했다는 소문이 돌던 6월 25일, 바닐라 Codex(GPT-5.5)를 재실행한 결과 **88.8%**라는 높은 점수가 나와 저자의 도구가 겨우 1개 과제 앞선 것에 불과하다는 사실을 알게 되었다.

이튿날 GPT-5.6 Sol이 공식 발표되었고, OpenAI는 저자의 요청 ID가 모두 GPT-5.5로 처리되었음을 확인해 주었다. GPT-5.6 Sol은 Terminal Bench 2.1에서 88.8%, Sol Ultra는 **91.9%**의 점수를 기록했다. 저자는 GPT-5.6이 이전 버전보다 조향(steering)이 훨씬 어렵다는 점을 지적하며, 벤치마크 점수 상승 이면의 문제를 탐구했다.