AI 가속기 원가 중 메모리 비중 63% 돌파

2024년 초 52%였던 AI 가속기 원가 중 메모리 비중이 2025년 말 63%까지 상승했다. 삼성전자는 Hot Chips 2026에서 Epoch AI의 데이터를 인용해 이 사실을 공개했으며, 현재 패키지 내 프로세서를 포함한 나머지 부품 비용은 전체의 약 3분의 1 수준이다.

연산 속도는 2년마다 약 3배씩 빨라지고 있지만, 이를 뒷받침하는 메모리 대역폭은 같은 기간 동안 두 배가 되지 못했다. 이로 인해 칩이 데이터를 기다리는 시간이 길어졌고, 메모리가 원가의 3분의 2를 차지하는 상황에서 데이터 이동량을 줄이는 것이 최신 공정으로 로직을 축소하는 것보다 효율적이라는 판단이 업계의 50년 된 우선순위를 뒤집고 있다.

메모리 제조사들은 표준 상품 대신 맞춤형 설계를 시작했으며, DRAM의 GB당 현물 가격은 약 7배 상승했다. 웨이퍼 생산 능력은 10년 이상 정체되어 있고 신규 공장 건설에 2년 이상 소요되므로, 공급량 증가 없이도 주요 3개사는 기록적인 매출을 올리고 있다. 다만 메모리 비중이 11%포인트 상승하는 동안 메모리 자체 가격이 여러 배 급등했으므로, 이는 전체 원가 상승을 의미하며 패키지 내 나머지 부품의 원가도 함께 상승한 것으로 해석된다.

삼성전자는 데이터가 프로세서로 이동하지 않도록 메모리 칩 내부에 곱셈 연산 유닛을 배치하는 기술을 적용했다. 실제 실리콘 테스트에서 Llama 3.1 8B 모델 기준 초당 토큰 생성 속도가 약 3배 향상되었다. 또한 Oxmiq는 모델 가중치 저장을 위해 적층형 플래시 메모리를 제안하며, 대역폭이 절반 수준으로 떨어지는 대신 용량을 약 14배까지 늘리는 방식을 제시했다.