에이전트 AI, CPU 수요 키운다

AMD·Arm·Microsoft가 agentic AI 확산으로 AI 인프라에서 CPU 수요가 크게 늘어날 수 있다고 전망했다.

AMD의 Tai 컴퓨팅·엔터프라이즈 AI 담당 SVP는 OCP APAC 2026에서 에이전트가 GPU 작업 외에도 오케스트레이션, 검색·검색증강, tool-calling을 추가로 실행해 CPU 부하를 키운다고 설명했다. 이에 따라 기존 CPU-to-GPU 비율 1:4가 1:2 또는 1:1에 가까워질 수 있다고 말했다.

Arm의 대만·동남아시아 지역 대표는 AI 에이전트가 사람보다 최대 15배 많은 요청을 생성할 수 있다고 밝혔다. 에이전트가 중단 없이 실행되고 다른 에이전트를 호출하면서 현재 인프라에서 CPU가 병목이 될 수 있다는 설명이다.

Microsoft는 에이전트 워크로드를 겨냥한 Cobalt 200을 ‘agent-native CPU’로 내세우며, 에이전트 호출 지연시간을 33% 줄이고 처리량을 23% 높였다고 소개했다.

이 같은 전망이 현실화되면 GPU뿐 아니라 CPU, 메모리, 스토리지, 네트워킹도 에이전트 기반 AI 서비스 확장에 맞춰 함께 증설해야 할 가능성이 커진다.