Vercel에서 Zo Computer가 AI 신뢰성을 20배 높인 방법

Zo Computer는 사용자에게 개인용 AI 클라우드를 제공하며, 각 사용자의 서버·데이터·파일을 바탕으로 항상 켜진 에이전트를 운영한다. 8명 규모의 팀이 2026년까지 100만 명 온보드를 목표로 하면서, 수많은 모델 호출을 안정적으로 처리하는 것이 핵심 과제가 됐다.

기존에는 OpenAI, Anthropic, MiniMax, GLM, Fireworks 등 각 모델 제공자마다 커스텀 adapter 코드를 따로 유지해야 했다. 이미지 처리, 키 관리, 예외 처리, retry, provider routing, fallback logic까지 팀이 직접 떠안으면서 새 모델이 나올 때마다 한 시간짜리 멀티파일 수정과 배포가 필요했다.

Zo의 전환점은 Vercel AI SDK와 AI Gateway였다.

• AI SDK는 제공자별 adapter 코드를 대체해, 모델마다 다른 구현과 edge case 처리를 하나의 통합 인터페이스로 묶었다.
• AI Gateway는 retry, fallback routing, provider health monitoring, uptime 같은 인프라 레벨 복잡성을 라우팅 계층에서 처리했다.
• 그 결과 새 모델 지원은 1시간짜리 작업에서 30초짜리 config string 추가로 바뀌었고, MiniMax의 M2.7 출시 당일 바로 서비스에 올릴 수 있었다.

성과는 수치로 분명했다. Vercel과 비-Vercel 경로를 동시에 돌린 A/B 비교에서 retry rate는 **7.52% → 0.34%**로 줄어 20배 개선됐고, chat success rate는 **99.93%**까지 올랐다. 평균 시도 횟수는 1.00이 되었고, 비-Vercel 경로는 같은 기간 오히려 더 나빠졌다.

지연시간도 크게 줄었다. Zo의 가장 많이 쓰는 모델인 MiniMax M2.5 기준으로 P95는 46초 → 34초, P99는 131초 → 81초로 개선됐다. 평균 latency는 25.7% 낮아졌고, 테스트 종료 시점에는 전체 트래픽의 **91.88%**가 Vercel로 라우팅됐다.

또한 Vercel 경로는 더 큰 컨텍스트도 감당했다. 평균 입력 토큰이 42,500으로, 비-Vercel 경로의 12,700보다 3.3배 컸지만 오류율은 더 낮았다. Zo는 이제 인프라를 직접 조립하는 대신 제품에 집중할 수 있게 됐고, 작은 팀으로도 더 빠르게 모델 변화에 대응할 수 있게 됐다.