Okara가 Vercel 위에서 12만 개 기업을 위해 CMO 에이전트를 운영하는 방법

AI 마케팅 솔루션인 Okara는 4명의 소규모 팀으로 12만 개 이상의 기업을 대상으로 마케팅 전략 수립부터 실행까지 담당하는 AI CMO 서비스를 제공한다. 이들은 매일 40억 개의 토큰을 처리하며, SEO, 소셜 미디어, 콘텐츠 제작 등을 수행하는 8개의 전문 서브 에이전트를 운영한다.

기존에는 다양한 AI 모델 제공업체의 SDK를 개별적으로 관리해야 하는 기술적 부채가 있었으나, Vercel AI Gateway를 도입하며 이를 해결했다. 이를 통해 별도의 어댑터 개발 없이도 새로운 모델이 출시되는 즉시 서비스에 반영할 수 있으며, 재시도 로직(Retry logic)과 폴백 라우팅(Fallback routing)을 인프라 계층에서 효율적으로 관리한다.

또한 Vercel Sandbox를 활용해 SEO 에이전트가 웹사이트의 기술적 문제를 발견하면, 격리된 환경에서 분석을 수행하고 코드를 수정하여 직접 Pull Request를 생성하는 자동화 루프를 구현했다. 이러한 인프라 효율화를 통해 Okara는 인력 확충 없이도 대규모 고객사를 지원하며 지속적인 성장을 이어가고 있다.