AI Briefing#memory-bandwidth
#memory-bandwidth와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#memory-bandwidth와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
AI 추론 수요 급증에 따라 Prefill과 Decode 단계로 워크로드를 분리하고, 메모리 병목을 해결하는 새로운 하드웨어 아키텍처와 양자화 기술이 부상하고 있다.
Apple Neural Engine 역공학 결과 LLM 추론 병목은 연산이 아닌 데이터 이동이며, M5 칩에서 GPU 내부로 통합됨.
Apple A20 Pro가 2nm 공정, 32코어 Neural Engine, 96-bit LPDDR5X를 통해 약 115GB/s의 메모리 대역폭을 제공한다.
삼성전자가 Hot Chips 2026에서 메모리 내부 연산(PIM) 기술을 적용한 LPDDR5X 패키지를 공개하며 Llama 3.1 추론 속도를 3배 개선했다.
Nvidia의 RTX Spark는 최대 128GB LPDDR5X 통합 메모리와 600GB/s의 대역폭을 제공할 전망이다.
AI 에이전트의 핵심 지표인 단일 요청 디코딩 속도를 최적화하여 표준 GPU에서 초당 3,000 토큰의 속도를 달성하는 기술을 설명한다.
LLM 추론의 핵심 병목인 메모리 대역폭 문제를 해결하기 위한 다양한 AI 하드웨어 기술과 기업들의 전략을 분석한다.
LLM 가중치는 BF16에서 16비트 중 약 10.6비트만 실제 정보를 담는 것으로 분석됐다.
Unweight는 H100에서 LLM 가중치를 15~22% 줄이면서 출력은 bit-exact로 유지한다.
FuriosaAI는 LLM 및 멀티모달 모델 추론 성능을 극대화하기 위해 차세대 AI 칩 RNGD에 HBM3를 도입했다.