RAG 시스템 평가 및 운영 실무 인사이트
Notes from evaluating a customer support chat agent system: heuristic evaluators give false signal, retrieval bugs masquerade as LLM failures, and the cost/quality Pareto frontier is rarely where you think [D]
실제 운영 중인 RAG 시스템 감사 결과, 평가 방식과 검색 오류, 모델 선택에 관한 핵심 기술적 발견을 공유한다.
실제 운영 중인 RAG(Retrieval-Augmented Generation) 기반 고객 지원 시스템을 구조적으로 감사하여 얻은 주요 결과는 다음과 같다.
1. 휴리스틱 평가의 무용성 키워드나 출처 참조를 기반으로 한 기존의 휴리스틱 평가 방식은 응답 품질과 상관관계가 거의 없었다. 반면, Claude Haiku 4.5를 활용한 LLM-as-judge 방식은 환각(Hallucination)을 식별하고 근거를 제시함으로써 훨씬 높은 신뢰도를 보였다.
2. 검색 실패를 모델 실패로 오인하는 문제 에이전트가 정보가 없다고 답변하는 경우, 모델의 지식 문제가 아닌 검색(Retrieval) 단계의 문제인 경우가 많았다. 예를 들어, Chroma의 코사인 유사도 임계값이 너무 엄격하여 관련 문서를 가져오지 못하는 사례가 확인되었다. 생성 단계를 튜닝하기 전, 반드시 컨텍스트 윈도우에 실제 데이터가 포함되었는지 확인해야 한다.
3. 모델 선택과 비용/품질의 관계 다양한 모델을 비교 테스트한 결과, Gemma 4 26B가 기존 모델(Gemini Flash Lite Preview)보다 높은 품질 점수를 기록하면서도 비용은 75% 더 저렴하여 가장 효율적인 선택지로 나타났다.
4. 그라운딩(Grounding) 제약의 영향 "검색된 문서 내의 사실만 말하라"는 시스템 프롬프트 제약은 정확도를 높이지만, 동시에 모델의 유용성(Helpfulness) 점수를 낮추는 트레이드오프가 존재한다.
이 요약은 원문 이해를 돕기 위한 큐레이션입니다. 저작권은 원저작자에게 있으며, 정확한 내용과 맥락은 원문을 확인하세요.
요약 오류, 출처 표기 문제, 삭제 요청은 문의 · 건의로 알려주세요.