Launch HN: Expanse (YC P26) – 유휴 GPU 용량 최적화

데이터센터의 GPU 클러스터는 사용자들이 작업 실패를 방지하기 위해 필요 이상의 자원을 과다 요청하는 경향이 있어, 실제 효율이 30~40% 수준에 머무는 문제가 있습니다. 이는 대규모 컴퓨팅 환경에서 막대한 비용 낭비를 초래합니다.

Expanse는 소스 코드, 작업 제출 스크립트, 하드웨어 텔레메트리를 분석하여 작업 실행 전 실제 필요한 자원을 예측하는 솔루션입니다. SLURM 및 Kubernetes와 통합되어 작동하며, 다음과 같은 핵심 기능을 제공합니다.

• 자원 예측: GPU VRAM, 사용률, CPU, 실행 시간 등을 예측하고 신뢰 구간을 제공합니다. 또한 OOM(Out of Memory) 등 실패 가능성을 사전에 경고하고 코드 수준의 최적화 방안을 제시합니다.
• 실시간 관측성: 낮은 오버헤드로 하드웨어 상태와 코드 스택 프로파일링을 대시보드에 시각화하여 실시간 모니터링을 지원합니다.
• 실패 진단: 작업 실패 시 하드웨어 데이터와 스택 프로파일링을 상관 분석하여, 단순 로그를 넘어 코드 라인 단위의 구체적인 해결책을 제공합니다.

Expanse의 모델은 범용 LLM(GPT, Claude, Gemini 등)보다 예측 성능이 약 8배 더 뛰어나며, 클러스터 특화 모델을 통해 사용량이 늘어날수록 정확도가 더욱 향상됩니다.