AI Agent를 위한 OpenSearch 검색 품질 평가하기 (Part 1)

RAG(Retrieval-Augmented Generation) 시스템에서 검색 품질은 전체 답변 성능을 결정하는 핵심 요소다. 검색된 문서가 부실하면 LLM의 성능과 관계없이 오답이 발생하기 때문에, "체감"이 아닌 정량적 지표를 통한 객관적인 평가가 필수적이다.

AI 에이전트의 검색은 사람이 직접 수행하는 검색과 성격이 다르다. 에이전트는 스스로 쿼리를 생성하고, 검색 결과를 LLM 컨텍스트로 직접 활용하며, 검색 결과가 답변의 성능 상한선을 결정한다. 따라서 에이전트용 검색은 더욱 냉정하고 엄격하게 측정해야 한다.

주요 평가 지표로는 다음 두 가지를 활용한다:

• NDCG@10: 검색 결과의 순위와 관련성을 동시에 고려하여 상위 10개 결과의 품질을 측정한다.
• Recall@10: 전체 정답 문서 중 상위 10개 안에 포함된 정답의 비율을 측정하여 검색의 누락 여부를 확인한다.

시스템은 Amazon OpenSearch Service를 검색 엔진으로, Amazon Bedrock을 임베딩 및 채점 도구로 활용한다. BEIR Benchmark를 통해 평가 파이프라인의 유효성을 먼저 검증한 뒤, 실제 서비스 데이터에 적용하는 전략을 취한다.

채점 과정에는 LLM-as-a-Judge 방식을 도입한다. **Amazon Bedrock(Claude)**을 활용해 검색 결과의 관련성을 0~1 사이의 점수로 자동 채점함으로써, 사람이 직접 레이블링하는 데 드는 비용과 시간 문제를 해결하고 일관된 평가를 수행한다.