우프살라대 OBM, LLM 추론 HBM 사용량 최대 82% 절감
Obm Optical Bandwidth Memory HBM Reduction
·2026.11.14 20:12
핵심 내용
OBM 시뮬레이션 결과 3개 모델에서 HBM 사용량이 최대 82% 절감됐다.
자세히 보기
- Optical Broadcast Memory(OBM)가 중앙 서버에서 광섬유를 통해 고정된 모델 가중치를 분배하여 각 가속기의 HBM에 중복 가중치를 저장할 필요를 제거함
- 80,000개 가속자 시뮬레이션에서 OBM이 Llama 3.1 405B의 HBM 사용량을 40%, Llama 4 Maverick의 경우 39% 감소시키고, 처리량은 각각 기준 대비 0.96배와 0.97배를 유지함
- DeepSeek V4 Pro가 가장 큰 절감 효과를 보여 HBM을 8.44 PB(82%) 줄이고 클러스터 전체 처리량을 1.57배로 높이며 토큰당 에너지 소비를 0.58배로 낮춤
- DeepSeek V4 Pro의 1.57배 처리량 향상은 베이스라인 메모리 용량에 크게 의존하며, 가속기당 베이스라인 HBM을 192 GB로 늘리면 처리량 비율이 0.96배로 감소함
- 해당 설계는 아직 제작되지 않은 개념적 멀티코어 프라세오디뮴 도핑 광섬유 증폭기(MC-PDFA)에 의존하며, 평가에는 prefill 단계와 모델 학습이 제외됨
이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.