Maestro 기술 개요

Maestro는 AI21이 소개한 동적 계획 시스템으로, 지시문과 요구사항을 분리해 입력받고 생성 과정 내내 결과를 검증한다. 요구사항은 내용, 스타일, 형식, 장르, 관점, 가드레일까지 포괄하며, 각 항목별 점수와 미충족 사유를 돌려준다. 내장 파일 검색(RAG 시스템)과 웹 검색도 연결돼 복잡한 생성·검색 파이프라인에 붙일 수 있다.

실행은 한 번의 생성으로 끝나지 않는다. inference-time compute를 활용해 품질 기준과 예산을 동시에 만족하는 경로를 찾고, 현재 후보를 계속 개선한다. 각 호출은 LLM과 도구 호출로 이뤄진 트리를 만들며, 계획에는 Best-of-N과 generate and fix가 포함된다. 코드 의존성을 이해해 병렬·순차 작업도 조정한다.

• 더 빠른 작업: 복잡한 프로덕션 워크플로를 직접 설계하지 않아도 예산 안에서 품질 보장을 받을 수 있다.
• 더 똑똑한 수정: 출력 실패 패턴이 보이면 새 요구사항을 추가해 즉시 교정할 수 있다. 예로 아포스트로피가 들어간 문자열의 이스케이프 문제를 요구사항으로 막았다.

평가는 두 축에서 진행됐다. FRAMES 벤치마크의 복잡한 멀티홉 RAG 문제에서는 Maestro가 런타임에 LLM이 의사결정하는 기존 에이전트 시스템을 앞섰다. IFEval에서는 두 방식으로 검증했다.

• LLM-as-a-Judge: 검증 함수를 의미 기반 요구사항으로 변환
• Code validation: 검증 로직을 프로그램으로 구현해 반복 개선에 직접 사용

자체 데이터셋 Requirements Following에는 질문응답·요약 같은 grounding 작업과 함께 50단어 제한, listening만 다루기, leader(s)/manager(s) 이탤릭 처리, 특정 인물 언급 금지 같은 강한 제약을 넣었다.

이 데이터셋에서 Maestro는 요구사항 충족률과 정확도를 모두 끌어올렸고, o3처럼 원점수가 높은 모델에서도 개선폭을 보였다. 인간 전문가의 블라인드 평가에서도 gpt-4o 단독 호출보다 '매우 만족' 비율은 높고 '불만족' 비율은 낮았다. 결론적으로 Maestro는 요구사항을 명시적으로 정의하고 실행 중 검증·수정하는 방식으로, 복잡한 LLM 작업의 품질을 예산 안에서 끌어올리는 시스템이다.