이커머스 부정 반품 요청, AI로 차단한다: Amazon Nova Fine-tuning으로 산업 특화 가드레일 구성하기

패션 이커머스 업계는 워드로빙(Wardrobing), 허위 불량 신고 등 부정 반품으로 인해 연간 약 1,000억 달러의 손실을 입고 있습니다. 기존의 범용 LLM은 고객에게 친절하게 응답하려는 특성 때문에 이러한 부정 의도를 제대로 차단하지 못하는 한계가 있습니다.

이를 해결하기 위해 Amazon Bedrock의 Amazon Nova 2 Lite 모델을 활용하여 도메인 특화 Custom Guardrail을 구축했습니다. 이 모델은 고객의 문의가 AI 에이전트에 도달하기 전, 의도를 분석하여 정상 요청(Safe)과 부정 요청(Unsafe)을 사전에 분류합니다.

837개의 데이터셋을 활용한 Fine-tuning 결과, 부정 의도 탐지 정확도를 기존 73.0%에서 **94.6%**로 21.6%p 향상시켰습니다. 특히 고가의 대형 모델 대신 비용 효율적인 소형 모델을 사용하여 우수한 성능과 경제성을 동시에 달성했습니다.