Baseten, Grid·Sandboxes·Loops 출시로 추론 플랫폼 확장

Baseten이 Grid(게이트웨이, 라우터, 가드레일), Sandboxes(상태 유지, VM 격리 실행), Loops(서버리스 트레이닝) 세 가지 제품 마일스톤을 출시함
Grid는 코딩 지출을 단일 제어 레이어로 관리하며, 비용, 품질, KV 캐시 히트 레이트를 기준으로 최적의 모델에 작업을 라우팅함
Loops는 프론티어 오픈웨이트 모델에서 서버리스 SFT와 RL을 제공하여, 팀이 포스트 트레이닝 후 모델을 생산 엔드포인트로 직접 서빙하고 가중치 소유권을 유지할 수 있게 함
Sandboxes는 수천 개의 인스턴스를 초 단위로 확장하는 상태 유지, 일시정지/재개 가능, VM 격리 환경을 제공하며, 추론과 인접 배치되어 성능을 최적화함
Grid는 공개 프리뷰로 출시되고, Sandboxes는 프라이빗에서 공개 프리뷰로 전환되며, Loops는 금요일에 GA(일반 가용) 됨
플랫폼은 수십 개의 클라우드에 걸친 멀티클라우드 용량 관리(Multi-cloud Capacity Management) 기반으로 99.99% 가동률을 달성함

핵심 내용