FastAPI는 충분히 빠르지 않을까? Robyn과의 성능 차이 직접 비교

AI 추론 엔진 앞단의 API Gateway를 만들기 위해 FastAPI 대신 Robyn을 선택했고, 핵심 이유는 고부하 상황에서의 처리량과 안정성이었다.

Robyn은 Rust runtime 위에서 동작하는 Python 웹 프레임워크로, 이벤트 루프와 워커를 Rust가 담당해 Python 레이어의 제약을 줄이는 구성을 내세운다. 단순한 /health, /data 예시 코드 수준에서도 FastAPI나 Flask와 비슷한 문법으로 사용할 수 있지만, 밑단에서는 Rust 기반 멀티스레드 런타임이 요청 처리와 소켓 핸들링을 맡는다.

동일한 VM 환경에서 벤치마크를 진행한 결과, 단일 요청에서는 두 프레임워크 모두 약 1.1ms 수준으로 비슷했지만, 동시 접속자 50명 조건에서는 Robyn이 763.28 RPS, FastAPI가 651.02 RPS를 기록해 Robyn이 17.2% 앞섰다. 같은 조건에서 P99 지연은 Robyn 96.4ms, FastAPI 286.4ms였고, 최대 응답 시간도 Robyn 143.4ms가 FastAPI 674.8ms보다 훨씬 낮았다.

더 큰 부하에서는 차이가 더 분명해졌다.

• 1,000명 동시 접속 테스트에서 평균 응답 시간은 FastAPI가 0.1141s로 더 빨랐지만, P95/P99에서는 Robyn이 훨씬 안정적이었다.
• Robyn: P95 0.2775s, P99 0.3432s
• FastAPI: P95 0.9216s, P99 1.7410s

즉, FastAPI는 일부 요청이 빠르더라도 상위 지연 구간에서 급격히 무너졌고, Robyn은 응답 분포가 더 촘촘하게 유지됐다. 기사에서는 이를 tail latency 방어력 차이로 해석한다.

가장 극단적인 -c 12000 테스트에서는 Robyn이 12,000/12,000 요청을 모두 성공 처리한 반면, FastAPI는 7,809/12,000만 성공했고 4,191건의 EOF / Reset 오류가 발생했다. 평균 속도 비교를 넘어, 대규모 burst traffic을 버티는 생존성 측면에서 Robyn이 더 적합하다는 결론이다.

마무리에서는 Robyn의 장점으로 성능, 안정성, Python 문법 유지를 꼽으면서도, 신생 프레임워크인 만큼 생태계 성숙도와 레퍼런스는 아직 보수적으로 봐야 한다고 정리한다. 그럼에도 AI/ML 서빙용 Gateway처럼 고부하와 tail latency가 중요한 환경에서는 Robyn이 실용적인 선택지라고 평가한다.