Opus 4.7 vs Old Opus 4.6 vs New Opus 4.6 on 28 Zod tasks

Zod의 28개 historical task를 기준으로 Opus 4.6(3월 19일), 새 Opus 4.6(4월 16일), **Opus 4.7(4월 16일)**를 동일 조건으로 다시 돌렸다.

• 세 버전 모두 12/28 pass rate로 테스트 통과율은 같았다.
• 다만 4.7은 전체적으로 더 절제된 코딩을 보여, 작성된 패치의 craft와 discipline에서 더 나은 방향성을 보였다.
• 비용과 속도에서는 4.7이 March 4.6보다 더 효율적이었다.
  • task당 비용: $8.11 vs $8.93
  • 총 토큰: 44.0M vs 49.1M
  • 전체 실행 시간: 1h 30m vs 1h 36m
• 새로 재실행한 4.6은 가장 저렴했지만, 더 오래 걸리고 더 느슨하며 덜 동등한 패치를 만들었다고 평가됐다.

작성자는 동일한 커밋을 기준으로 Claude Code에서 각 Opus 스냅샷을 돌리고, 단순 pass/fail을 넘어 equivalence, code-review pass, footprint risk, craft, discipline까지 함께 채점했다. 결론은 Opus 4.7이 categorical upgrade는 아니지만, 방향성은 더 낫다는 것.