AI Gateway에서 지역별 추론(Regional Inference) 지원 시작

이제 AI Gateway를 통해 요청을 미국(US) 또는 유럽(EU) 데이터 센터로 고정하는 **지역별 추론(Regional Inference)**이 가능해졌습니다. 요청 시 inferenceRegion 설정을 사용하면 선택한 지역 내에서 추론이 실행되며, 해당 모델 제공업체가 보관하는 모든 데이터 역시 해당 지역에 저장됩니다.

지원되는 라우팅 방식은 다음과 같습니다:

• us: 미국 데이터 센터
• eu: 유럽 데이터 센터
• global: 모든 지역(기본값)

만약 선택한 지역에서 해당 요청을 처리할 수 있는 모델 제공업체가 없다면, 다른 지역으로 우회하는 대신 요청이 실패하도록 설계되었습니다. 또한 모든 응답에는 실제 추론이 수행된 지역이 포함되어 있어 데이터 거주성을 직접 확인할 수 있습니다.

기존에는 데이터 거주성이나 컴플라이언스 요구사항을 충족하기 위해 각 제공업체마다 별도의 라우팅 설정을 해야 했으나, 이제는 단일 필드로 모든 곳에서 동일하게 작동하는 통합된 환경을 제공합니다. 단, 지역 고정 시 모델 제공업체에 따라 표준 가격보다 약 10% 높은 지역별 요율이 적용될 수 있습니다.