우프살라대 OBM, LLM 추론 HBM 사용량 최대 82% 절감

Obm Optical Bandwidth Memory HBM Reduction

·2026.11.14 20:12

핵심 내용

OBM 시뮬레이션 결과 3개 모델에서 HBM 사용량이 최대 82% 절감됐다.

자세히 보기

  • Optical Broadcast Memory(OBM)가 중앙 서버에서 광섬유를 통해 고정된 모델 가중치를 분배하여 각 가속기의 HBM에 중복 가중치를 저장할 필요를 제거함
  • 80,000개 가속자 시뮬레이션에서 OBM이 Llama 3.1 405B의 HBM 사용량을 40%, Llama 4 Maverick의 경우 39% 감소시키고, 처리량은 각각 기준 대비 0.96배와 0.97배를 유지함
  • DeepSeek V4 Pro가 가장 큰 절감 효과를 보여 HBM을 8.44 PB(82%) 줄이고 클러스터 전체 처리량을 1.57배로 높이며 토큰당 에너지 소비를 0.58배로 낮춤
  • DeepSeek V4 Pro의 1.57배 처리량 향상은 베이스라인 메모리 용량에 크게 의존하며, 가속기당 베이스라인 HBM을 192 GB로 늘리면 처리량 비율이 0.96배로 감소함
  • 해당 설계는 아직 제작되지 않은 개념적 멀티코어 프라세오디뮴 도핑 광섬유 증폭기(MC-PDFA)에 의존하며, 평가에는 prefill 단계와 모델 학습이 제외됨

이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.

AI 처리 방식을 확인하거나, 요약 오류와 출처 표기 문제, 삭제 요청을 문의 · 건의로 알려주세요.