Maestro AI 계획 조율

AI21은 Maestro를 데이터 집약형 기업 업무 자동화를 위한 AI 계획·조율 시스템으로 소개했다. AWS의 추정치를 인용해 생성형 AI를 실제 배포한 조직이 **6%**에 불과하다고 짚으며, LLM의 확률적 특성이 기업 도입의 핵심 걸림돌이라고 봤다.

기존 접근은 두 갈래로 나뉜다.

• prompt-and-pray: LLM/LRM에 열린 과제를 던지고 결과를 기대하는 방식으로, 복잡한 다단계 워크플로에서 오류가 누적되기 쉽다.
• 하드코딩 체인: 신뢰성은 있지만 유연성이 떨어지고, 환경이 바뀔 때마다 다시 짜야 한다.

Maestro는 LLM과 LRM을 최종 판단자가 아니라 도구로 다루고, 대안 경로를 비교해 성공률과 비용을 예측한 뒤 계획을 생성·실행한다. 실행 뒤에는 요구사항 충족 여부를 검증하고, **실행 추적(trace)**과 **검증 보고서(report)**로 전체 흐름을 투명하게 보여준다.

핵심 기능은 네 가지다.

• 정확도: 추론 단계 계산량을 조절하고 모델·도구를 선택해 엄격하게 검증한다.
• 배포 속도: 요구사항, 도구, 예산만 정하면 태스크별 계획을 자동 생성한다.
• 환경 적응: 오프라인 시뮬레이션으로 대안 경로를 탐색하고 최적 전략을 찾는다.
• 투명성: 실행 과정과 검증 결과를 모두 확인할 수 있다.

벤치마크 개선도 제시됐다. IFEval에서 GPT-4o는 약 **85%**에서 **91.9%**로, Claude Sonnet 3.5는 약 **88%**에서 **95.2%**로, o3-mini는 약 **92%**에서 **95.7%**로 상승했다. 여러 요구사항을 동시에 만족시켜야 하는 테스트에서는 최대 50% 개선이 있었고, FRAMES에서는 **75%**로 OpenAI Assistant API(69%)와 ReACT with LlamaIndex(59%)를 앞섰다.

AI21은 현재 early access 대기자 명단을 운영 중이며, SaaS와 VPC 형태의 정식 제공은 2025년 후반으로 예고했다.