RNGD에 HBM3를 도입하며: 도전 과제와 이점

HBM3는 2.5D 패키징, 특수 인터포저, 복잡한 열 관리 문제로 인해 구현이 매우 까다로운 기술이다. 하지만 LLM 및 멀티모달 모델 추론을 위해 설계된 RNGD에게는 막대한 메모리 대역폭을 제공하는 HBM3가 필수적인 선택이었다.

FuriosaAI 엔지니어링 팀은 성공적인 HBM3 통합을 위해 3D 전자기(EM) 시뮬레이션을 수행하여 인터포저를 정밀하게 모델링했다. 또한 S-parameter 및 아이 다이어그램(eye diagram) 시뮬레이션을 통해 신호 무결성을 검증하고, 다양한 부하 프로필에 걸친 시뮬레이션으로 전력 무결성을 철저히 점검했다.

HBM3 도입을 통해 RNGD는 다음과 같은 핵심 성능을 확보했다:

• 1.5 TB/s의 메모리 대역폭 제공
• 48GB의 메모리 용량 확보
• 180W TDP 내에서 업계 최고 수준의 전력 대비 대역폭 및 용량 효율 달성

특히 12단 HBM3를 활용함으로써, 대규모 모델을 더 적은 수의 칩으로 구동할 수 있게 되었으며, KV 캐시 저장 용량을 늘려 처리량(throughput)을 크게 개선했다.