Amazon Bedrock, 고급 프롬프트 최적화·모델 전환 도구 공개

Amazon Bedrock Advanced Prompt Optimization이 공개됐다. 하나의 프롬프트 템플릿을 기준으로 최대 5개 모델을 동시에 비교하며, 현재 모델을 개선하거나 새 모델로 전환하는 작업을 지원한다. 모델을 바꾸는 경우 현재 모델을 기준선으로 두고 최대 4개 모델을 추가할 수 있어, 알려진 유스케이스의 회귀를 점검하면서 성능이 낮은 작업을 다듬을 수 있다.

템플릿은 JSONL 형식으로 준비해야 하며, 각 JSON 객체는 한 줄에 써야 한다. version: bedrock-2026-05-14 같은 고정 값과 templateId, promptTemplate, evaluationSamples를 넣고, evaluationSamples에는 예시 사용자 입력과 referenceResponse를 넣는다. 멀티모달 변수는 inputVariablesMultimodal에 담아 PDF 또는 IMAGE로 지정하며, 파일은 직접 업로드하거나 Amazon S3에서 불러올 수 있다. 결과도 지정한 S3 출력 위치에 저장된다. 필요하면 customLLMJConfig, evaluationMetricLambdaArn, steeringCriteria를 사용해 평가 기준을 세분화할 수 있다.

프롬프트 템플릿 하나당 평가는 하나만 고를 수 있지만, 작업 안에서는 여러 템플릿을 넣어 서로 다른 방식을 섞을 수 있다.

평가 방식은 세 가지다.

• AWS Lambda: 정확도, F1, 구조화된 JSON 일치처럼 명확한 지표를 커스텀 점수 계산 로직으로 측정한다.
• LLM-as-a-Judge: 사용자 정의 루브릭과 점수 척도로 응답을 평가한다. 기본 judge 모델은 Claude Sonnet 4.6이다.
• Steering criteria: 브랜드 톤, 포맷, 안전 제약처럼 자연어 기준을 넣어 LLM judge가 종합 평가한다.

Bedrock은 예시 데이터와 선택적 정답을 추론 모델에 보내고, 평가 결과를 바탕으로 프롬프트를 반복적으로 다시 써 최적화한다. 결과로는 원본과 최종 프롬프트 템플릿, 평가 점수, 비용 추정치, 지연 시간이 함께 제공된다. 기능은 Bedrock 콘솔의 Advanced Prompt Optimization 페이지나 CreateAdvancedPromptOptimizationJob API에서 바로 사용할 수 있고, 현재 서울을 포함한 여러 리전에서 제공된다. 과금은 최적화에 사용된 Bedrock 모델 추론 토큰 기준으로, 일반 추론과 같은 단가가 적용된다.