네이버 SNOW, 이미지 AI 서빙 최적화로 H100 67장 절감

Image AI 서빙 최적화: CPU와 GPU의 빈 시간을 줄여 H100 67장을 절감하기까지

·2026.11.16 17:09

핵심 내용

네이버 SNOW가 이미지 AI 서빙 최적화로 H100 67장을 절감했다.

자세히 보기

  • SNOW의 16개 이미지 AI 서비스에서 H100 환산 67.37장의 GPU 자원을 절감함
  • LitServe 전환을 통해 반복적인 이미지 인코딩 및 디코딩을 제거하고 CPU와 GPU의 대기 시간을 줄임
  • 실제 트래픽에 맞춰 워커 수, 스레드 수, CPU 한도, 코어 고정 및 오토스케일링 로직을 조정함
  • 가벼운 작업을 CPU로 분리하고 여러 서비스를 하나의 GPU에 공유 배치하여 불필요한 연산과 요청 대기 비용을 제거함
  • 응답 속도, 처리량, 첫 요청 예열, 오류율, 취소율, GPU 활용도 등 전반적인 지표가 개선됨
  • 향후 과제로는 Image Harness 및 트래픽에 맞춘 자동 최적화를 제시함

이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.

AI 처리 방식을 확인하거나, 요약 오류와 출처 표기 문제, 삭제 요청을 문의 · 건의로 알려주세요.