AI 경제학 2부 (11분 분량)

AI 수요는 인간과 에이전트로 갈린다. 인간은 짧고 버스트성 요청을 던지지만, 에이전트는 24/7로 돌아가는 장기 작업을 수행한다. 에이전트는 여러 도구 호출과 긴 기억을 전제로 하며, 작은 오류도 누적되면 전체 작업이 실패하기 쉽다.

훈련과 추론의 가동률 패턴도 다르다. 훈련은 평탄하고 지속적이며, 인간 추론은 출퇴근형으로 들쭉날쭉하지만 에이전트 추론은 지속적이면서도 도구 호출마다 끊긴다.

훈련은 수천 개 GPU가 동시에 동기화되는 수주간 멈추지 않는 거대한 연산이고, 병목은 GPU 간 통신이다. 추론은 인간용의 짧고 폭발적인 요청과 에이전트용의 길고 지속적인 요청으로 나뉘며, 후자는 인간 세션보다 10~50배 더 많은 연산을 쓴다. 사람이 웹 검색, 외부 API, 문서 조회를 붙여 쓰기 시작하면 인간 추론도 CPU와 DRAM을 더 많이 타게 된다.

칩 레벨에서는 CPU, GPU, HBM, DRAM의 역할이 워크로드에 따라 달라진다. 훈련에서는 GPU와 HBM이 핵심이고 CPU와 DRAM은 거의 비어 있다. 인간 추론에서는 HBM이 첫 토큰 지연을 줄이는 관건이며, 에이전트 추론에서는 컨텍스트와 도구 결과가 DRAM으로 넘어가고 CPU가 전면에 서면서 모든 계층이 동시에 압박을 받는다.

핵심은 네 가지다.

• 훈련: GPU를 더 넣는다고 선형적으로 성능이 늘지 않는다. 적은 연산, 더 나은 데이터 선택, 더 나은 네트워킹과 소프트웨어가 중요하며 NVIDIA의 우위는 CUDA와 NVLink까지 묶인 생태계에서 나온다.
• 인간 추론: 밤과 새벽의 낮은 가동률은 큰 기회비용이다. 짧은 요청에 맞춘 전용 추론 칩인 Groq와 AWS Inferentia, 스팟 요금, 동적 재배치가 여지를 만든다.
• 에이전트 추론: 긴 컨텍스트, CPU-GPU 핸드오프, DRAM으로의 넘침 때문에 기존 인간용 하드웨어로는 최적화가 부족하다.
• HBM: SK hynix, Samsung, Micron이 장악한 병목이며, 팹과 패키징의 진입 장벽이 높다. 에이전트 AI 수요가 두 번째 HBM 슈퍼사이클을 만들고 있고, 당장 유력한 해법은 CXL 3.0이다. 다만 대규모 상용화는 2~3년 뒤로 보인다.