LLM 토큰 가격과 실제 운영 비용의 괴리

Microsoft Research, Stanford, Berkeley, CMU의 공동 연구에 따르면, 8개의 프론티어 추론 모델을 비교한 결과 표시된 토큰 가격이 더 저렴하더라도 실제 작업 비용은 더 높게 나타나는 경우가 5개 중 1개꼴로 발생했다. 최악의 경우 표시 가격보다 28배 더 많은 비용이 들기도 했다.

이러한 비용 차이가 발생하는 주요 원인은 다음과 같다:

• 토큰 소모량의 차이: 동일한 질문에 대해 모델마다 사용하는 토큰 양이 판이하게 다르다. 특정 모델은 다른 모델보다 900% 더 많은 Thinking Token을 사용하기도 했다.
• Thinking Token의 비중: 추론 과정에서 발생하는 Thinking Token이 전체 출력 비용의 80% 이상을 차지하며 비용 변동성을 높인다.
• 비용의 가변성: 동일한 모델과 질문이라도 실행 시마다 비용이 최대 9.7배까지 요동칠 수 있다.

따라서 LLM 기반 서비스를 구축할 때 단순히 API의 **단위 가격(Sticker Price)**만 고려해서는 안 되며, 모델별 토큰 소모 패턴과 변동성을 반드시 측정하여 **실제 운영 비용(COGS)**을 산출해야 한다.