gVisor Snapshotting을 통한 GPU Cold Start 시간 단축

AI 모델을 프로덕션 환경에서 운영할 때 발생하는 Cold Start(콜드 스타트) 문제는 모델 가중치 로딩, CUDA 초기화, 커널 컴파일 등으로 인해 수 분의 지연을 초래하며, 이는 자원 과다 할당과 비용 증가의 원인이 됩니다.

Cerebrium은 이를 해결하기 위해 gVisor 기반의 커스텀 런타임 내에서 CPU 및 GPU 메모리 스냅샷(Checkpointing) 기술을 구현했습니다. 이 기술은 컨테이너가 완전히 초기화된 상태(모델 가중치, 프로세스 상태, 컴파일된 커널 포함)를 스냅샷으로 저장한 뒤, 새로운 컨테이너가 요청될 때 이를 즉시 복원하는 방식입니다.

주요 특징 및 성과는 다음과 같습니다:

• 초고속 복원: 기존의 이미지 다운로드 및 초기화 과정을 생략하고 스냅샷을 직접 복원하여, 특정 워크로드에서 콜드 스타트 시간을 80% 이상 단축했습니다.
• vLLM 호환성: vLLM과 같은 실제 CUDA 워크로드가 안정적이고 빠르게 복원될 수 있도록 최적화되었습니다.
• 인프라 효율성: 모델 로딩에 소요되는 시간을 획기적으로 줄임으로써, GPU 자원을 더 유연하게 스케일링하고 비용을 최적화할 수 있습니다.