AI 추론 병목 해결 위해 계층형 메모리 아키텍처로 전환 필요

AI 인프라의 초점이 대규모 연산 중심의 '학습'에서 다중 사용자 처리와 비용 효율을 중시하는 '추론'으로 이동하고 있다. 장문 컨텍스트, RAG, AI 에이전트 확산으로 KV Cache 용량이 급증하면서 GPU HBM만으로는 병목을 해결할 수 없게 되었다.

계층형 메모리 구조의 필요성

단순 GPU 성능 향상이 아닌 전체 데이터 이동 경로의 최적화가 요구된다. NVIDIA Dynamo와 같은 기술은 GPU 메모리 밖의 CPU RAM과 디스크 스토리지를 활용해 KV Cache 용량을 확장하는 구조를 제시한다. 이를 위해 다음과 같은 계층형 메모리 구조가 필수적이다.

• GPU HBM: 모델 가중치와 Hot KV Cache 저장 (최고 성능, 용량 제약)
• Host DRAM: Warm KV Cache, 세션 상태, 요청 큐 버퍼링 (HBM 부담 경감)
• NVMe SSD: Cold KV Cache 오프로딩 및 긴 컨텍스트/RAG 원문 저장 (대용량, 지연 관리 필요)
• 공유 스토리지: 대규모 문서 및 공유 KV Cache 저장 (높은 대역폭 요구)

부품별 역할 변화와 아키텍처 전환

Host DRAM은 GPU 대체재가 아닌 추론 서비스의 완충 계층으로 기능하며, 세션 상태 유지와 캐시 오프로딩을 담당한다. CPU는 모델 연산 주역에서 요청 스케줄링과 메모리 계층 관리를 담당하는 허브로 역할이 변모했다. NVIDIA Vera Rubin NVL72는 GPU, CPU, DPU, 네트워크가 통합된 랙 스케일 플랫폼으로, 개별 서버 최적화를 넘어 시스템적 조화가 중요함을 시사한다.

NVMe SSD는 단순 저장 장치를 넘어 추론 성능 계층으로 이동했다. 삼성전자 역시 스토리지가 보조 구성요소에서 시스템 확장성을 가능하게 하는 능동적 계층으로 변화했다고 설명한다. DPU와 NIC는 I/O 분산 처리를 통해 GPU 데이터 공급 지연을 최소화하는 역할을 수행한다.

추론 인프라의 핵심 지표와 경쟁력

AI 서버 구매 및 운영 기준이 GPU 사양에서 데이터 이동 경로와 메모리 효율 중심으로 바뀌었다. 기존 CPU/메모리 지표 외에 Time to First Token(TTFT), KV Cache 사용량, Cache Hit Ratio 등 추론 특화 지표를 반드시 모니터링해야 한다. CSP의 경쟁력은 GPU 보유량이 아닌 낮은 지연시간과 예측 가능한 비용 구조를 제공하는 플랫폼 역량에서 결정될 것이다.