A1Mobilsoft의 운영 문의 자동화 여정 (2): 세 에이전트 구현과 사람 vs AI 검증

단순한 벡터 검색 방식은 키워드는 유사하지만 맥락이 다른 '오답'을 걸러내지 못하는 한계가 있었다. 이를 해결하기 위해 Retrieve → LLM Rerank → Diagnosis로 이어지는 3단계 프로세스를 구축했다.

Stage 1에서는 검색 범위를 넓게 잡기 위해 Bedrock Knowledge Base의 점수 임계값을 0.4로 낮췄으며, Stage 2에서는 Haiku 모델을 통해 문의 유형을 분류하고 점수를 재평가한다. 마지막 Stage 3인 Diagnosis 단계는 현재 문의와 과거 사례가 정말 일치하는지 엄격하게 판단하는 최종 게이트 역할을 한다.

특히 Diagnosis 단계에서는 단순히 점수(confidence)만 보는 것이 아니라, match라는 boolean 값을 별도로 두어 '목적이 다른 경우', '대상/환경이 다른 경우' 등 부정 조건을 명시적으로 판단하도록 설계했다. 이를 통해 false positive를 사실상 0으로 줄이는 성과를 거두었다.

모든 단계에는 비용 효율성과 빠른 응답 속도를 위해 Claude Haiku 모델을 사용했다. 백테스트 결과, 도메인 특화 작업에서 Sonnet 모델과 비교해 판정 정확도 차이가 크지 않음을 확인했다.