3,600억 개의 토큰, 300만 명의 고객, 6명의 엔지니어

Durable은 기업가들이 몇 분 만에 비즈니스를 시작하고, AI 에이전트를 통해 SEO, 콘텐츠, 운영 등을 최적화할 수 있도록 돕는 AI 비즈니스 빌더다. 현재 하루 약 11억 개의 토큰(연간 3,600억 개)을 처리하며 수백만 개의 개별 비즈니스를 운영하고 있다.

소규모 팀인 Durable은 인프라 관리 부담을 줄이기 위해 자체 호스팅 대신 통합된 플랫폼을 선택했다. 특히 멀티 테넌트 환경에서 발생하는 다음과 같은 문제들을 해결해야 했다:

• 커스텀 도메인 및 SSL 관리 비용 및 복잡성
• 멀티 리전 클러스터 유지보수
• 보안 및 봇 보호(DDoS 공격으로부터 타 고객 보호)
• 관측성 및 비용 귀속(Cost Attribution)

AI 에이전트가 핵심 기능이 되면서, 기존 웹 플랫폼과는 다른 세 가지 기술적 과제에 직면했다:

• 모델 오케스트레이션(Model orchestration): 신뢰성과 비용을 위해 모델과 제공업체를 신속하게 교체할 수 있는 능력
• 테넌트 격리(Tenant isolation): 한 비즈니스의 컨텍스트가 다른 비즈니스로 유출되지 않도록 하는 엄격한 가드레일
• 고객별 AI 경제성: 사용량 기반 또는 결과 기반 과금을 위한 정밀한 비용 추적

Durable은 인프라 구축 대신 에이전트를 통한 가치 창출에 집중하기 위해, 멀티 테넌트 AI 워크로드에 최적화된 단일 시스템으로 플랫폼을 통합했다.