Opus 4.7의 새 tokenizer: 실제 비용은 얼마인가

Anthropic은 Claude Opus 4.7에 새 tokenizer를 넣었지만 입력 $5/M, 출력 $25/M 가격은 그대로 유지했다. 대신 같은 텍스트가 더 많은 native tokens으로 세어져 실제 청구액이 달라질 수 있다. OpenRouter는 4.6에서 4.7로 주력 모델이 바뀐 switcher cohort의 텍스트 전용 비취소 요청 100만 건 이상을 비교했다.

기준선은 OpenRouter의 자체 tokenizer인 QuadChars였다. 4개의 printable ASCII 문자를 1토큰으로 세고, 비ASCII 문자는 각각 별도 토큰으로 처리해 native count와의 차이만 분리했다. 이 방식으로 모델 내용 변화가 아니라 tokenizer 변화의 영향만 떼어냈다.

• < 2K: native token 비율이 약 45% 증가
• 2K–10K: 약 42% 증가
• 10K–25K: 약 34% 증가
• 25K–50K와 50K–128K: 약 32% 증가
• 128K+: 약 33% 증가

길이가 긴 프롬프트에서는 prompt caching이 늘어난 토큰의 상당 부분을 흡수했다. 25K 이상에서는 증가분의 대부분이 캐시에 들어갔고, 128K+ 구간에서는 추가 토큰의 **93%**가 캐시로 처리됐다. 반대로 2K 미만 요청은 캐시 적중률이 낮아 완충 효과가 거의 없었다.

응답 길이도 달라졌다. 2K 미만에서는 4.7의 메디안 completion이 62% 짧아졌지만, 10K 이상에서는 13~30% 더 길어졌다. 그 결과 실제 평균 비용은 2K 이상 구간에서 12~27% 상승했고, 구간별로는 2K–10K +27.2%, 10K–25K +25.2%, 25K–50K +21.3%, 50K–128K +11.9%, **128K+ +15.3%**였다. 2K 미만은 오히려 **-1.6%**로 더 저렴했다.

즉, 새 tokenizer의 영향은 워크로드에 따라 크게 갈렸다. 짧은 요청은 더 짧아진 응답 덕분에 비용이 낮아졌고, 중간 길이 이상의 실사용 프롬프트는 캐시가 일부를 흡수하더라도 분명한 청구액 상승을 보였다.