GPU 4개가 필요하다면, GPU 시간은 더 이상 범용 상품이 아니다

GPU 대여 가격을 단순히 단일 GPU의 시간당 비용으로 계산하는 것은 실제 워크로드의 요구사항을 반영하지 못한다. 모델 학습, 미세 조정(Fine-tuning), 고처리량 추론을 위해서는 단순히 GPU 시간의 합이 아니라, 동일한 머신 내에 배치된 다수의 동일한 GPU와 적절한 인터커넥트가 필요하기 때문이다.

Vast.ai의 데이터를 분석한 결과, 요구하는 GPU 개수가 늘어날수록 가용 공급량은 급격히 감소하지만 가격이 반드시 비례해서 오르지는 않는 독특한 양상을 보였다.

• H200: 1개에서 2개로 요구량을 늘려도 가격 변화가 거의 없었으나, 4개 요구 시 가용 공급이 50%로 급감하며 가격이 4% 상승했다. 8개 요구 시에는 공급이 전무했다.
• H100 & B200: 공급이 매우 취약하여 2개까지는 대응 가능하나 4개 이상의 클러스터 구성은 불가능했다.
• A100: 전형적인 시장 반응을 보였다. 8개 GPU 요구 시 공급 감소에 따라 가격이 1개 기준 대비 114% 상승했다.
• L40S: 공급 곡선이 매끄럽지 않은 불연속적인 시장 구조를 보였다.

결국 컴퓨팅 자원은 수요가 늘어날 때 가격이 오르는 일반적인 상품(Commodity)처럼 작동하기보다, 구성(Configuration)과 가용성을 통해 공급이 제한되는 방식으로 작동한다.