AI 토큰은 데이터센터를 어떻게 여행하는가

모든 AI 서비스는 본질적으로 다음 토큰을 예측하는 Inference(추론) 엔진입니다. 2026년 기준 AI 컴퓨팅의 주류는 학습(Training)이 아닌 추론으로 완전히 전환되었으며, Google은 월간 3.2 쿼드릴리언(quadrillion) 토큰을 처리할 정도로 그 규모가 거대해졌습니다.

이 글은 프롬프트가 입력된 순간부터 답변이 출력될 때까지, 데이터센터 내부의 15개 물리적·논리적 지점을 추적하며 추론 인프라의 작동 원리를 파헤칩니다. 주요 단계는 다음과 같습니다:

• Gateway & Scheduler: 요청을 수신하고 적절한 리소스로 할당
• KV Cache: 이전 토큰의 계산 값을 저장하여 중복 연산 방지
• GPU & Network: 실제 모델 연산이 수행되고 데이터가 노드 간 이동

추론 인프라는 이제 단순한 추상적 개념이 아니라, **Latency(지연 시간)**를 계산하고 Token당 비용을 산출하며 투자 효율성을 따져야 하는 핵심적인 엔지니어링 영역이 되었습니다.