토큰 가격은 내려가는데 AI 청구서가 오른 이유

Ramp 데이터에 따르면 2025년 1월~2026년 4월 사이 기업의 토큰 소비량은 1,000% 증가했지만 지출은 500% 증가에 그쳤다. 가격 하락 속도보다 사용량 증가 속도가 두 배 빠른 셈이다.

AI 비용이 오른 주요 원인은 세 가지다.

• 소비 단위 변화: 2024년에는 프롬프트 1회 → 응답 1회가 기본이었지만, 2026년에는 에이전트가 하나의 요청을 처리하며 수십 번의 모델 호출을 발생시킨다.
• 컨텍스트 비대화: RAG 파이프라인이 문서를 매 프롬프트에 주입하고, 대화 히스토리가 매 턴마다 재전송되며, 추론 모델은 생각 과정 자체를 토큰으로 소비한다.
• 백그라운드 추론: 사람의 요청 없이도 항시 실행되는 모니터링 에이전트, 컴플라이언스 체크 등이 지속적으로 토큰을 소비한다.

이는 **제번스 역설(Jevons paradox)**의 전형적인 사례다. 추론 비용이 싸지자, 토큰을 대량 소비하는 방식이 오히려 더 나은 결과를 내기 때문에 모두가 그 방식을 채택했다.

여기에 공급 측 압력도 가중되고 있다. H100 렌탈 가격은 2025년 10월 바닥을 찍은 후 2026년 3월까지 40% 급등했으며, 9월까지의 GPU 용량은 이미 전량 예약된 상태다.

대응책으로는 사용 사례의 성숙도에 따라 모델을 매칭하거나, Tesla처럼 직원 1인당 주 $200 한도를 설정하고 초과 시 관리자 승인을 받도록 하는 방식이 거론된다.