Uber COO, '토큰맥싱(tokenmaxxing)'에 대한 비용 지출 정당화가 점점 어려워지고 있다'

Uber의 COO Andrew Macdonald는 AI 모델의 성능을 높이기 위해 토큰 사용량을 극대화하는 **'토큰맥싱(tokenmaxxing)'**에 투입되는 비용을 정당화하기가 점점 더 어려워지고 있다고 밝혔다.

기업들이 더 정교한 결과물을 얻기 위해 더 많은 토큰을 소비하고 있지만, 그에 따른 **비용 대비 효용(ROI)**이 점차 낮아지고 있다는 점이 핵심이다.

이는 AI 모델을 실제 서비스에 적용할 때 추론(inference) 비용 최적화와 모델 성능 사이의 균형을 맞추는 것이 기업 운영의 매우 중요한 과제가 되었음을 시사한다.