AI 하드웨어에 대하여 (7분 읽기)

현대 GPU의 연산 능력은 매우 강력하지만, LLM의 자기회귀(autoregressive) 디코딩 과정에서는 연산 능력보다 **HBM(고대역폭 메모리)**의 대역폭이 병목이 된다. H100과 같은 최신 GPU는 연산 성능(PFLOP/s)이 메모리 대역폭보다 훨씬 빠르게 성장하고 있어, 데이터가 메모리에서 연산 장치로 전달되는 속도가 연산 속도를 따라가지 못하는 '운영 강도(operational-intensity) 격차'가 점점 더 벌어지고 있다.

이러한 문제를 해결하기 위해 다양한 기업들이 각기 다른 방식으로 메모리 제약을 극복하려 시도하고 있다.

• Groq: HBM 대신 칩 내부에 직접 구축된 SRAM을 사용하여 데이터 전송 대기 시간을 없애고 결정론적(deterministic) 실행을 구현한다.
• Cerebras: 단일 웨이퍼 크기의 칩을 통해 방대한 양의 on-chip SRAM과 압도적인 내부 메모리 대역폭을 제공한다.
• MatX: 트랜스포머 추론 패턴에 최적화된 소프트웨어 관리형 scratchpad memory를 활용한다.
• d-Matrix: 메모리 어레이 자체에서 연산을 수행하는 in-memory compute 방식을 채택한다.

소프트웨어 측면에서도 roofline heuristic을 활용해 배치 크기(batch size)를 조절함으로써 병목 지점을 메모리 대역폭에서 연산 능력으로 전환하려는 시도가 이루어지고 있다. 이를 통해 시스템이 최대한의 처리량(throughput)을 유지하면서도 목표 지연 시간(latency)을 달성하도록 설계한다.