모델 서빙 최적화를 위한 프레임워크 선정과 서빙 성능 극대화하기

카카오페이는 얼굴 인식 및 OCR 서비스의 요구사항을 충족하기 위해 효율적인 모델 서빙 프레임워크 도입을 추진했다. 기존에는 모델 개발용 Python과 서빙용 Kotlin/Spring Boot가 분리되어 있어, 전/후처리 코드 변환 과정에서 정합성 이슈와 개발 생산성 저하 문제가 발생했다.

인퍼런스 속도 개선을 위해 ONNX와 TensorRT 같은 최적화 엔진을 활용했다. 테스트 결과 TensorRT > ONNX > Tensorflow 순으로 성능이 우수했으나, 모델 구조에 따라 정합성이 맞지 않을 수 있어 속도와 정확도 사이의 트레이드오프를 고려해야 했다.

최적의 프레임워크를 선정하기 위해 FastAPI, Tensorflow Serving, Triton을 비교 대상으로 선정했다. FastAPI는 직접 서버를 구축하는 베이스라인으로 활용했으며, Tensorflow Serving과 Triton은 지원하는 모델 포맷의 다양성과 서빙 성능을 기준으로 평가했다.

실험은 ResNet50+alpha 모델을 기반으로 AWS ECS (G4dn instance) 환경에서 진행되었다. Locust를 사용하여 초당 요청 수(Throughput)와 지연시간(Latency)을 측정하며 각 프레임워크의 성능과 안정성을 검증했다.