AI21 Maestro, 신뢰성 높은 AI 에이전트

AI21 Maestro는 에이전트가 자주 겪는 환각, 지시 누락, 맥락 손실 문제를 줄이기 위해 설계된 플랫폼이다. 복잡한 R&D와 시행착오 없이, 안내 흐름만 따라가면 production-ready 수준의 에이전트를 빠르게 만들 수 있다고 강조한다.

첫 단계는 회사의 데이터, 도구, 모델을 연결하는 일이다. Maestro는 내부 문서, API, 웹 검색, 외부 시스템 등 구조화·비구조화 소스를 하나의 인터페이스로 묶고, 파싱·인덱싱·검색을 통해 답변이 올바른 맥락에 기반하도록 지원한다.

두 번째 단계에서는 출력 규칙과 정책, 성공 기준을 정한다. 예를 들어 “모든 출처를 인용하라”, “내부 정책 XYZ를 따르라”, “추론 과정을 설명하라” 같은 요구를 넣을 수 있고, Maestro는 결과를 검증해 기준에 못 미치는 부분을 자동으로 수정한다.

세 번째 단계는 compute-budget slider로 추론 자원을 조절하는 과정이다. 낮은 비용으로 빠른 조회를 하거나, 높은 비용을 들여 복잡한 분석을 수행할 수 있으며, 뒤에서는 여러 추론 경로를 병렬로 돌려 비용과 지연 시간 한도 안에서 가장 정확한 결과를 고른다고 설명한다.

네 번째 단계에서 사용자가 실행하면 Maestro가 작업을 분석하고 다단계 추론을 계획한 뒤, 모델과 도구를 순차적으로 선택해 실행한다. 이 과정은 dynamic planning and orchestration으로 불리며, 시각적 실행 그래프를 통해 데이터 조회, 답변 평가, 충돌 해결 과정을 확인할 수 있다.

마지막으로 실행이 끝나면 각 요구사항이 어떻게 충족됐는지 담은 검증 보고서와 성능 점수가 제공된다. 지속적인 검증과 오류 수정으로 다단계 추론에서도 정확도를 유지하며, 결과는 explainable하고 auditable한 형태로 남는다.