TF Serving 기반 비전 모델 배포 가이드

Hugging Face Transformers의 TensorFlow 비전 모델(ViT, ConvNeXt 등)을 **TensorFlow Serving(TF Serving)**을 통해 REST 또는 gRPC 엔드포인트로 배포하는 기술적 방법을 다룬다.

모델 저장 및 형식 TF Serving은 SavedModel 형식을 요구한다. save_pretrained() 메서드를 사용하면 모델 가중치를 h5 형식뿐만 아니라 독립적인 SavedModel 형식으로 직렬화할 수 있다. 저장된 모델은 saved_model_cli를 통해 입력 텐서(pixel_values)와 출력 텐서(logits)의 구조를 확인할 수 있다.

모델 수술(Model Surgery)을 통한 최적화 이미지 리사이징, 정규화와 같은 **전처리(Preprocessing)**와 클래스 매핑과 같은 후처리(Postprocessing) 단계를 모델 내부에 포함시키는 '모델 수술'을 권장한다. 이는 개발자의 인지 부하를 줄이고, **학습-서빙 간의 괴리(training-serving skew)**를 방지하여 배포 안정성을 높이는 핵심적인 방법이다.