보고서: 기업의 83%, 에이전틱 AI 지원을 위한 인프라 업그레이드 필요

기업용 AI가 단순 대화형을 넘어 스스로 작업을 수행하는 **에이전틱 AI(Agentic AI)**로 진화함에 따라, 기존 인프라로는 이를 감당하기 어렵다는 분석이 나왔습니다. 최근 1,400명 이상의 IT 리더를 대상으로 조사한 결과, 83%의 기업이 에이전틱 AI를 프로덕션 환경에 적용하기 위해 인프라 업그레이드가 필요하다고 응답했습니다.

에이전틱 워크로드는 단일 프롬프트가 수백 개의 후속 동작을 유발하고 거대한 Context Window를 메모리에 유지해야 하므로, 기존 아키텍처에서는 막대한 비용과 운영 복잡성이 발생합니다. 실제로 리더의 62%가 데이터 송출 비용, 스토리지 팽창, 유휴 하드웨어로 인한 **Inference Tax(추론 비용 부담)**를 겪고 있습니다.

이를 해결하기 위해 기업들은 다음과 같은 Fluid Compute(유동적 컴퓨팅) 전략이 필요합니다.

• Heavy Training: TPU 8t와 같은 가속기를 통한 대규모 모델 학습
• Low-latency Inference: 실시간 반응을 위한 온칩 메모리 최적화 모델(TPU 8i)
• Orchestration: Google Axion과 같은 Arm 기반 프로세서를 활용한 효율적인 에이전트 제어 및 시뮬레이션

또한, 수많은 에이전트가 분산되어 발생하는 Agent Sprawl(에이전트 확산) 문제를 해결하기 위해 중앙 집중식 거버넌스가 필수적입니다. 기업들은 Agent Gateway와 같은 솔루션을 통해 에이전트의 권한, ID, 워크플로우를 관리하고 데이터 공유에 대한 가시성을 확보해야 합니다.