Hugging Face, Inference Endpoints 실시간 분석 기능 업데이트

Hugging Face가 Inference Endpoints 사용자의 모니터링 및 디버깅 효율을 높이기 위해 분석 대시보드를 대폭 개선했다.

주요 업데이트 내용은 다음과 같다:

• 실시간 메트릭(Real-Time Metrics): 요청 지연 시간(latency), 응답 시간, 에러율 등을 실시간으로 확인할 수 있다. 백엔드 최적화를 통해 트래픽이 많은 엔드포인트에서도 데이터가 빠르게 로드된다.
• 맞춤형 시간 범위 및 자동 새로고침: 특정 시간 범위를 지정해 트렌드를 추적하거나, 자동 새로고침 기능을 통해 대시보드를 최신 상태로 유지할 수 있다.
• 레플리카 생명주기 뷰(Replica Lifecycle View): 각 레플리카의 초기화부터 종료까지의 모든 상태 전환 과정을 상세히 추적할 수 있어, 복잡한 배포 환경에서의 문제 파악이 용이해졌다.