2026년 AI 추론 하드웨어 혁신: Prefill/Decode 분할과 메모리 병목 해결을 위한 새로운 아키텍처

AI 산업의 초점이 모델 훈련에서 추론(Inference)으로 이동하면서 추론 효율성을 극대화하기 위한 하드웨어 혁신이 가속화되고 있다. Agentic AI의 확산으로 추론 수요가 폭발적으로 증가함에 따라, LLM 추론을 병렬 처리가 가능한 Prefill 단계와 순차적 토큰 생성인 Decode 단계로 나누어 최적화하는 전략이 주목받고 있다.

추론 워크로드의 분할 전략

기존 GPU는 Prefill에는 적합하지만 Decode 단계에서는 메모리 대역폭 병목으로 인해 유휴 시간이 발생한다. 이에 따라 주요 기업들은 워크로드를 분리하여 최적화하는 전략을 채택하고 있다.

• Amazon: AWS Trainium 칩으로 Prefill을 처리하고, Cerebras의 Wafer-Scale Engine 3(WSE-3)로 Decode를 담당하는 조합을 구성했다. WSE-3은 단일 웨이퍼에 44GB의 SRAM을 내장하여 외부 메모리 의존도를 낮추며, OpenAI의 GPT-5.3-Codex-Spark 모델 구동에 사용되어 초당 1,000개 이상의 토큰을 생성한다.

메모리 병목 해결을 위한 새로운 접근법

Decode 단계의 핵심 병목인 모델 가중치와 KV Cache 로딩 속도를 해결하기 위해 HBM의 한계를 극복하는 대안 기술들이 등장했다.

• Etched: Transformer 아키텍처를 전용 실리콘(Sohu)으로 구현하여 유연성은 낮으나 효율성을 극대화했다. Meta Llama 70B 기준 초당 50만 토큰 처리를 주장한다.
• Tensordyne: 로그 숫자 형식을 활용한 Napier 칩을 통해 곱셈 대신 덧셈을 수행하여 전력 소비를 Nvidia 하드웨어의 1/10 수준으로 줄이고 초당 1,300개 토큰을 생성한다.

정밀도 최적화(양자화)의 진화

메모리 및 연산 비용을 줄이기 위해 모델 정밀도를 낮추는 양자화(Quantization) 기술도 중요해지고 있다. Nvidia는 DeepSeek-R1을 FP8에서 NVFP4로 양자화했을 때 7개 주요 벤치마크 점수 하락은 1% 미만인 반면 성능은 3배 향상되었다고 밝혔다. AMD, Intel, Qualcomm은 경쟁 4-bit 형식인 MXFP4를 채택하고 있다.