Inference Endpoints 전환 및 성능 분석

Hugging Face는 기존에 **AWS ECS(Elastic Container Service)**와 Fargate를 사용하여 내부 ML 모델을 관리해 왔으나, 최근 이를 자사의 Inference Endpoints 서비스로 전환했다.

워크플로우의 단순화 기존에는 모델 학습 후 API 구축, Docker 컨테이너화, ECR 업로드, ECS 배포 등 복잡한 과정을 거쳐야 했다. 반면 Inference Endpoints를 사용하면 모델을 Hugging Face Hub에 업로드한 후 즉시 배포할 수 있어 운영 효율성이 크게 향상되었다.

성능 및 지연 시간(Latency) 비교 RoBERTa 모델을 활용한 CPU 벤치마크 결과, Inference Endpoints가 기존 ECS 방식보다 뛰어난 성능을 보였다.

• ECS (Large): 약 200ms의 지연 시간
• Inference Endpoints (Large): 약 80 ± 30ms의 지연 시간

결과적으로 Inference Endpoints는 기존 맞춤형 컨테이너 방식보다 2배 이상 빠른 응답 속도를 제공하며, 실시간 서비스에 적합한 저지연 환경을 구축할 수 있음을 입증했다.