Claude 4.7의 tokenizer 비용 측정

Claude Opus 4.7의 새 tokenizer는 Anthropic 문서상 1.0~1.35배 더 많은 토큰을 쓴다. 실제 측정에서는 기술 문서와 Claude Code용 실전 콘텐츠에서 그 상단을 넘는 경우가 확인됐다.

실측 결과

• 실전 Claude Code 콘텐츠 7종 평균: 1.325x
• CLAUDE.md 실제 파일: 1.445x
• 기술 문서(영문): 1.47x
• 코드와 영어 위주 콘텐츠는 1.20~1.47x까지 증가
• 반면 CJK(일본어·중국어) 는 거의 변화가 없었고, 1.01x 수준이었다

무엇이 바뀌었나

• 영어와 코드 패턴에서 토큰이 더 잘게 쪼개지는 경향이 보였다.
• 코드, Markdown, Git log, stack trace 같은 실사용 입력이 특히 영향을 받았다.
• 다만 토큰 수만으로는 vocabulary의 어떤 슬롯이 바뀌었는지까지는 알 수 없다.

instruction following 측정

• IFEval 20문항 샘플에서 strict 기준은 **4.6: 85% → 4.7: 90%**로 +5pp 개선
• loose 기준은 변화가 거의 없었다
• 개선은 크지 않지만 방향성은 일관됐고, 특히 정확한 형식 요구에서 4.7이 더 안정적이었다
• 다만 N=20이라 효과 크기는 아직 불확실하다

Claude Code 세션 비용 영향

• 80턴짜리 긴 세션을 가정하면, 4.6 대비 4.7은 세션당 비용이 대략 20~30% 증가할 수 있다
• 이유는 같은 가격표라도 입력 토큰 수가 늘어나서, cache read와 cache write가 더 많이 발생하기 때문이다
• Max plan 사용자라면 5시간 rate limit도 비슷한 비율로 더 빨리 닳을 수 있다

결론

• 4.7은 토큰 비용을 올렸지만, strict instruction following에서 작지만 실재하는 개선을 얻었다.
• 다만 그 개선이 1.3~1.45배 더 많은 토큰을 정당화하는지는 작업 유형에 따라 달라진다.
• 영어·코드 중심의 Claude Code 워크플로에서는 상단 범위를 기준으로 비용을 잡는 편이 안전하다.