Baseten, OpenAI Marketplace 합류…Codex 및 Responses API로 오픈 모델 제공

Baseten이 OpenAI B2B Marketplace의 초기 오픈 모델 추론 제공업체 중 하나로 합류했다. 이번 통합으로 OpenAI 엔터프라이즈 고객은 기존 OpenAI 약정 금액을 사용해 Baseten이 제공하는 오픈 모델에 접근할 수 있으며, Codex 내에서 네이티브로 사용하거나 Responses API를 통해 호출할 수 있다.

멀티 모델 에이전틱 코딩

이번 파트너십은 비용, 품질, 지연 시간에 따라 최적의 모델로 작업을 라우팅하는 에이전틱 코딩의 멀티 모델 워크플로 변화에 대응한다. Baseten 인프라 통합을 통해 조직은 오픈 및 클로즈드 모델을 아우르는 워크플로를 최적화할 수 있다. Baseten은 에이전틱 코딩이 현재 가장 널리 채택된 AI 사용 사례이며, Codex와 GPT 모델이 코드 생성 확장에 인기 있는 선택지라고 강조했다.

인프라 및 기능

Baseten은 이번 통합을 지원하기 위해 다음과 같은 주요 기능을 제공한다:

• 풀스택 성능 최적화: 다중 턴, 긴 프롬프트, 대규모 컨텍스트 윈도우를 포함하는 코드 생성 워크로드에 맞춤 최적화.
• 멀티 클라우드 용량: 20개 이상의 클라우드에 걸쳐 90개 이상의 클러스터에서 실행되며, 활성-활성 배포로 신뢰성을 보장하고 장애 발생 시 트래픽을 재라우팅한다.
• Day Zero 모델 접근: 주요 오픈 모델은 출시 당일 Model APIs에서 제공되어 즉시 평가할 수 있다.
• 개발자 경험: Baseten에 편입된 Blaxel을 통한 에이전트 샌드박싱을 포함한다.
• 엔터프라이즈 거버넌스: 모든 프롬프트에 대한 제로 데이터 보존(ZDR)을 제공하는 미국 기반 인프라와 세분화된 인증 및 권한 제어 기능을 제공한다.
• 엔지니어링 지원: 지연 시간 조정을 위한 전진 배치 엔지니어와 LangChain이 Baseten Loops를 통해 입증한 후학습을 위한 응용 연구원을 제공한다.