Amazon Bedrock 모델을 promptfoo로 성능 평가하기

생성형 AI 애플리케이션 개발 시 프롬프트 수정이나 모델 교체에 따른 품질 변화를 확신하기는 어렵습니다. LLM의 비결정적(non-deterministic) 특성 때문에 전통적인 단위 테스트 방식으로는 품질을 판정하기 어렵기 때문입니다.

promptfoo는 LLM 성능 평가를 위한 단위 테스트 프레임워크로, 프롬프트, 모델, 테스트 케이스를 YAML 파일에 선언적으로 정의하여 한 번에 비교할 수 있습니다. 특히 Amazon Bedrock을 사용하면 별도의 API 키 발급 없이 IAM 인증만으로 다양한 모델을 호출하고 평가할 수 있어 매우 효율적입니다.

평가 방식은 크게 두 가지로 나뉩니다.

• 결정적(Deterministic) 평가: JSON 형식 검증, 특정 문자열 포함 여부, 응답 시간(latency) 등 명확한 기준을 코드로 판정합니다.
• 모델 기반(Model-assisted) 평가: LLM judge가 자연어로 작성된 기준을 해석해 점수를 매기는 방식입니다. '답변이 친절한가?'와 같은 주관적 기준도 평가할 수 있어 검수 수고를 크게 줄여줍니다.

이러한 평가 과정은 CI/CD 파이프라인에 통합하여 품질 미달 시 빌드를 자동 중단시키는 방식으로 활용할 수 있습니다.