GCP 5세대 Xeon, CPU 기반 AI 에이전트 가능성

Google Cloud의 **C4 인스턴스(5세대 Intel Xeon, AMX 지원)**와 **N2 인스턴스(3세대 Intel Xeon)**를 대상으로 에이전틱 AI(Agentic AI)의 핵심 구성 요소인 텍스트 임베딩과 텍스트 생성 성능을 비교 분석했다.

주요 벤치마크 결과는 다음과 같다:

• 텍스트 임베딩 (UAE-Large-V1): C4 인스턴스가 N2 대비 **10배~24배 높은 처리량(Throughput)**을 기록했으며, TCO(총 소유 비용) 측면에서도 7배~19배의 이점을 보였다.
• 텍스트 생성 (Llama-3.2-3B): C4 인스턴스가 N2 대비 2.3배~3.6배 높은 처리량을 기록했으며, TCO 측면에서 1.7배~2.9배의 이점을 보였다.

이번 결과는 Intel AMX(Advanced Matrix Extensions) 기술이 적용된 최신 CPU를 활용할 경우, 소형 언어 모델(SLM) 기반의 가벼운 에이전틱 AI 솔루션을 GPU 없이 CPU만으로도 충분히 효율적으로 배포할 수 있음을 시사한다.