컬리, LLM과 Chain of Thought로 리뷰 선별 자동화… ML 모델 없이 정확도 확보

컬리 커머스 프로덕트 팀은 기존 베스트 리뷰 요약의 한계인 낮은 커버리지와 시의성 문제를 해결하기 위해 LLM 기반 리뷰 선별 실험을 진행했다. 기존 방식은 머신러닝 모델 구축과 튜닝에 상당한 리소스가 필요했으나, Prompt Engineering과 Chain of Thought(CoT) 기법을 적용해 이를 대체했다.

LLM 기반 리뷰 선별 전략

리뷰 선별을 위해 최신성, 관련성, 부정 후기 여부, 정보 제공도 등 4가지 조건을 정의했다. 단순 필터링 Prompt는 명확한 케이스에는 효과적이었으나, 모호한 리뷰에 대한 판단 근거가 부족해 신뢰성 문제가 제기되었다. 이를 해결하기 위해 LLM이 결론과 함께 판단 근거(Reasoning)를 출력하도록 Prompt를 설계했다.

Chain of Thought 적용 효과

복잡한 검증 단계를 세분화하는 CoT 기법을 도입해 정확도와 투명성을 확보했다. 검증 단계를 '타 제품 여부 확인', '부정 내용 확인', '구체적 속성 정보 포함 여부 확인' 등으로 명시하고, 각 단계별 추론 과정을 거치도록 유도했다. 그 결과, LLM이 스스로 논리적 일관성을 점검하며 오류를 수정하는 과정이 발생했고, 환각(Hallucination) 위험을 줄일 수 있었다.

실무적 시사점

이 실험은 별도의 ML 모델 개발 없이도 LLM의 추론 능력을 활용해 비정형 텍스트 분석 작업을 효율적으로 수행할 수 있음을 입증했다. 특히 Reasoning 과정을 명시하는 것이 결과의 정확성 향상과 함께 시스템의 해석 가능성(Explainability)을 높이는 핵심 요소임을 확인했다.