엔비디아 Maestro

기업 AI는 PoC 단계에서는 가능성을 보이지만, 추론·계획·실행을 안정적으로 하지 못해 생산 전환에 자주 실패한다. AI21은 Maestro를 NVIDIA NIM과 통합해, 기업이 직접 운영할 수 있는 자체 호스팅 AI 구성을 내세웠다.

프롬프트만 던지는 방식은 일관성과 검증이 부족하고, 하드코딩된 체인은 유연성이 떨어진다. Maestro는 다단계 워크플로를 동적으로 오케스트레이션하는 AI Planning & Orchestration System으로, 작업에 맞는 모델을 선택하고 결정을 검증한 뒤 실행까지 연결한다.

기업이 자체 호스팅 AI를 찾는 이유는 분명하다.

• 데이터 주권: 금융, 의료, 정부처럼 민감한 데이터는 내부 환경에 두어야 한다.
• 성능과 비용: 온프레미스 운영은 예측 불가능한 클라우드 비용을 줄이고 GPU 활용을 최적화한다.
• 통제와 커스터마이즈: 조직별 워크플로에 맞춰 AI를 조정할 수 있다.
• 규제 대응: private cloud, on-prem, VPC 배포로 보안과 컴플라이언스를 맞출 수 있다.

NVIDIA NIM microservices는 저지연·고효율 inference와 사전 최적화된 컨테이너를 제공하고, Maestro는 observability와 제어를 더한다. 이를 통해 기업은 텍스트 생성용 LLM, 검색용 embedding model, 구조화된 판단용 reasoning model을 작업별로 나눠 쓰면서 금융 리스크 분석 자동화, 고객 응대 개선, 복잡한 업무를 수행하는 AI agents 구축까지 추진할 수 있다.

NVIDIA의 Amanda Saunders는 생산 환경에서 고성능 inference가 AI agents와 reasoning을 뒷받침한다고 했고, AI21의 Ori Goshen은 응답 생성이 아니라 복잡한 작업 실행을 신뢰할 수 있어야 한다고 강조했다.