추론의 전환

AI 추론의 무게중심이 하나의 범용 GPU에서 용도별 아키텍처로 갈라지고 있다. 핵심 병목이 training, answer inference, agentic inference마다 다르기 때문이다.

GPU 시대가 열린 이유는 training이 대규모 병렬 연산이고, 이를 위해 HBM과 chip-to-chip networking이 함께 필요했기 때문이다. inference도 prefill은 계산 중심, decode는 KV cache와 모델 가중치를 번갈아 읽는 bandwidth-bound 단계라 GPU가 여전히 유효하다.

• Training은 앞으로도 GPU가 주도할 가능성이 크다.
• Answer inference는 토큰 생성 속도가 중요해 Cerebras나 Groq 같은 초고속 칩이 맞는다.
• Agentic inference는 context, state, history를 오래 유지해야 하므로 host memory, SSD, DB, logs, embeddings, object store를 묶은 memory hierarchy가 더 중요하다.

Cerebras WSE-3는 44GB on-chip SRAM과 21 PB/s 대역폭을 제공해 H100의 80GB HBM, 3.35 TB/s보다 메모리 용량은 작지만 대역폭은 약 6,000배 높다. 다만 온칩 메모리를 넘는 순간 성능 이점이 급격히 줄고, 웨이퍼 전체를 한 칩처럼 쓰는 구조 탓에 수율과 비용 부담이 크다.

결국 진짜 에이전트는 인간이 결과를 확인하는 코딩 보조보다, 인간 개입 없이 작업을 끝내는 쪽으로 진화한다. 이 시장은 인간 수가 아니라 compute로 규모가 정해지며, Nvidia는 Dynamo와 CPU·메모리 랙으로 대응하고 있지만 장기적으로는 더 싸고 단순한 메모리 계층이 더 유리해질 수 있다. 같은 이유로 느린 칩은 더 단순하고 차갑게 설계할 수 있어 우주 데이터센터 같은 환경에서도 오히려 적합해진다.