API 고객을 위한 엔터프라이즈급 기능 확대 출시

OpenAI는 기업 고객과 빠르게 성장하는 개발자를 위해 보안, 관리 제어, 비용 관리에 중점을 둔 새로운 기능을 도입했다.

보안 강화를 위해 Azure와 OpenAI 간의 직접 통신을 지원하는 Private Link와 MFA(다요소 인증)를 출시했다. 기존의 SOC 2 Type II, SSO, 데이터 암호화(AES-256, TLS 1.2), RBAC와 더불어 의료 분야를 위한 BAA 및 특정 사용 사례를 위한 데이터 보관 제로(Zero data retention) 정책도 제공한다.

Projects 기능을 통해 조직은 개별 프로젝트에 대해 더욱 세밀한 제어가 가능하다. 역할 및 API 키 범위를 프로젝트별로 제한하고, 사용 가능한 모델을 지정하며, 사용량 및 속도 제한을 설정할 수 있다. 또한 개인 사용자에게 종속되지 않는 서비스 계정 API 키 생성이 가능하다.

Assistants API는 다음과 같은 대폭적인 개선이 이루어졌다:

• file_search: 최대 10,000개의 파일을 지원하며(기존 20개 대비 500배 증가), 병렬 쿼리와 향상된 재순위화 기능을 제공한다.
• Streaming 및 vector_store: 실시간 대화형 응답을 위한 스트리밍을 지원하며, 파일을 자동으로 파싱하고 임베딩하는 vector_store 객체를 도입했다.
• 비용 및 도구 제어: 실행당 최대 토큰 사용량 제한과 특정 도구를 선택할 수 있는 tool_choice 파라미터를 추가했다.
• GPT-3.5 Turbo 파인튜닝 모델 지원을 시작한다.

비용 효율성을 높이기 위해 두 가지 옵션이 추가되었다. 지속적인 사용량을 보이는 고객을 위한 약정 처리량(Committed throughput) 할인(10~50%)과, 비긴급 작업을 50% 저렴한 가격으로 처리할 수 있는 Batch API가 도입되었다.