Hot Chips 2026: High Bandwidth Flash(HBF) 적용

Hot Chips 2026에서 발표된 High Bandwidth Flash(HBF)는 SSD의 플래시 메모리 기술을 HBM과 유사한 패키징 방식으로 구현하여, LLM 워크로드의 DRAM 용량 부족 문제를 해결하려는 시도이다.

HBF의 기술적 특징과 한계

• HBM과 달리 HBF는 SSD와 유사하게 대용량 정렬된 청크 단위로 접근해야 하며, 바이트 수준의 랜덤 액세스가 불가능하다.
• 소프트웨어가 DMA를 통해 데이터를 이동시키고, 웨어 레벨링 및 데이터 보존 등 SSD 컨트롤러 역할을 수행해야 하므로 플러그 앤 플레이 방식이 아니다.

LLM 인퍼런스 적용 시나리오

• vLLM 런타임에서 MoE(Expert) 전문가를 HBF에 저장하고, 활성 전문가만 HBM으로 DMA하는 방식이 제안됨.
• KV 캐시는 스파스 어텐션 구현 시 일부 토큰만 읽는 구조라면 HBF에 저장하여 용량 효율을 높일 수 있으나, 순차 읽기를 선호하는 HBF 특성상 소프트웨어 최적화가 필요함.
• 다중 GPU 환경에서 크로스 디바이스 통신 비용을 줄이기 위해 모델 가중치를 HBF에 복제하여 로컬 접근을 늘리는 전략도 고려됨.

비용 및 소프트웨어 과제

• HBF는 용량당 비용은 HBM보다 저렴하지만, 대역폭당 비용은 비싸므로 대역폭 제한에 도달하지 않는 작은 모델이나 배치 사이즈에 적합하다.
• 기존 DRAM 기반 프레임워크를 HBF에 맞게 수정하는 것은 저수준 디스크 API를 다루는 것과 유사한 막대한 소프트웨어 리팩토링을 요구하며, 단순히 SSD에서 스트리밍하는 것보다 복잡도가 높을 수 있다는 지적이 있다.