2023-2031년 모델 크기 스케일링 전망

토큰 생성 속도는 **HBM(High Bandwidth Memory)**의 읽기 속도, 즉 모델 가중치와 KV-cache를 읽는 속도에 의해 제한된다. 모델이 커질수록 HBM 읽기 시간이 늘어나며, 이는 파이프라인 단계 수와 모델의 총 파라미터 수에 직접적인 제약을 가한다.

HBM 기술 발전에 따른 읽기 시간 변화는 다음과 같다.

• H100: 20ms
• H200: 30ms
• GB200/GB300: 24ms / 36ms
• Rubin / Rubin Ultra: 13ms
• Feynman (2028-2029): 16ms / 14ms

이러한 하드웨어 성능을 바탕으로 예측한 모델 크기는 2026년 10T에서 시작하여, 2028년 240T, 그리고 2031년에는 1.4 quadrillion(1,400조) 파라미터에 달할 전망이다. 특히 2027년부터는 학습 데이터 부족 문제로 인해, 2031년 모델의 경우 무제한 데이터 가정 시보다 크기가 4배 더 커져야 할 것으로 보인다.