AI BriefingCohere, NVIDIA H100 기반 검증 가능한 기밀 AI 추론 기능 공개 베타 출시
·2026.10.23 05:36
핵심 내용
Cohere가 OHTTP와 원격 인증으로 데이터 전송 및 하드웨어 격리를 보호하는 기능을 공개 베타 출시했다
자세히 보기
- Cohere Model Vault의 Confidential Computing 기능이 NVIDIA H100 GPU를 기반으로 Microsoft Azure에서 공개 베타로 출시됨, NVIDIA Blackwell 인프라(B200 GPU 포함) 지원은 일반 가용화(GA)를 목표로 진행 중임
- 모델 서빙 스택을 하드웨어 기반 격리 환경인 Confidential Virtual Machine(CVM)에서 실행하여 추론을 보호함, NVIDIA Confidential Computing을 통해 보안 경계를 CPU에서 GPU까지 확장함
- 요청 페이로드를 Oblivious HTTP(OHTTP)로 암호화하여 검증된 CVM만 민감 데이터를 복호화할 수 있게 함, 중간 인프라는 평문 콘텐츠에 접근하지 않고 라우팅만 처리함
- 원격 인증(Remote attestation)을 능동적 보안 제어 수단으로 활용하여 민감 요청 전송 전 하드웨어, 펌웨어, 소프트웨어가 승인된 정책과 일치하는지 암호학적으로 검증함
- Kata Containers와 Confidential Containers 등 오픈소스 기술 기반 아키텍처를 구축함, Cohere는 고객 검증을 위해 confidential inference 스택을 오픈소스화할 계획임
- 해당 솔루션은 애플리케이션 보안, 데이터 거주지 제어, 규정 준수 요건을 대체하지 않음, 물리적 사이드채널 공격, 서비스 거부(DoS) 공격, 프롬프트 인젝션 등 애플리케이션 레벨 취약점으로부터 보호하지 않음
이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.
