토큰비용의 역전

$/MTok만 보면 비용을 잘못 읽기 쉽다. 같은 입력이라도 모델별 토큰 분해 방식이 달라 실제 청구 토큰 수가 크게 달라진다.

• 동일 콘텐츠를 공식 token counting API로 비교했을 때, **최대 2.65배+**까지 토큰 수 차이가 났다.
• 콘텐츠 유형별로 결과가 달라졌다: text, JSON, YAML, tool definitions 모두 토큰화 효율이 다르다.
• 기준 테스트에서는 OpenAI가 가장 효율적인 tokenizer를 보였다.

가격과 토큰 효율을 함께 반영해 보면 순위가 바뀐다.

• gpt-5.4: 기준선
• gemini-3.1-pro-preview: text/structured data에서는 더 싸지만, tool definitions에서는 OpenAI보다 46% 비싸졌다
• claude-sonnet-4-6 / claude-opus-4-6: 입력 유형에 따라 OpenAI 대비 1.4x~2.5x 수준까지 상승
• claude-opus-4-7: tool-heavy workload에서 gpt-5.4 대비 5.3x 비용

핵심은, 리스트 가격만 비교하면 실제 비용을 놓친다는 점이다. prompt caching, long-context, output tokens, thinking tokens까지 포함하면 차이는 더 커질 수 있어서, 실제 워크로드에서 직접 측정해야 한다.