LLM으로 Amazon 상품 목록 품질 개선

Amazon은 수억 개에 이르는 상품 카탈로그와 매일 추가·수정되는 방대한 listing을 더 빠르고 정확하게 정리하기 위해 LLM을 품질 관리에 투입했다. 기존에는 카테고리별로 따로 만든 ML 모델이 속성 보정, 오류 탐지, 번역, 외부 데이터 통합을 맡았지만, 복잡하거나 미묘한 속성에는 한계가 있었다.

이를 위해 카탈로그를 상품 유형과 속성 값 기준으로 재구성해, 어떤 값이 얼마나 자주 등장하고 어디에 나타나는지 통계로 정리했다. 예를 들어 무선 헤드폰의 속성이 “Bluetooth”, “BT”, “BT 5.1”, “Bluetooth version 5.1”처럼 흩어져 있어도, 빈도와 노출 통계를 통해 **“Bluetooth”**를 가장 신뢰할 만한 기준값으로 삼을 수 있다.

다만 통계만으로는 해결되지 않는 경우도 있다. 수술 기구의 “stainless steel”과 “440 stainless steel”처럼 granularity가 중요한 속성은 더 세밀한 값까지 보존해야 하므로, LLM에 "반환값은 후보 목록의 세밀함과 맞아야 한다" 같은 규칙을 넣는 prompt tuning이 필요하다.

이 과정에서 LLM은 응답뿐 아니라 추론 과정까지 제시하도록 학습되며, 이는 성능 향상과 추가 튜닝에 모두 도움이 된다. 또 “men’s shirt”와 “men shirt” 같은 표기 일관성, TV의 “4K UHD HDR”처럼 더 의미 있는 표현을 유지하는 문제도 함께 다룬다.

반복적인 prompt tuning이 끝나면 LLM은 카탈로그 전체에 적용돼 세 가지 일을 수행한다.

• 표준 속성값 인식으로 정확성을 판단
• 동의어/대체 표현 수집으로 표준값 확장
• 오류 또는 비논리적 입력 탐지로 품질 저하를 차단

그 결과 최신 seller 값이 며칠 안에 더 빨리 반영되고, 사람의 검토에 들어가는 시간이 수천 시간 절감된다. 또한 더 많은 언어를 감시하고 갱신할 수 있어, 기존 방식으로는 비용이 너무 컸던 카탈로그의 깊은 영역까지 품질 관리 범위를 넓힐 수 있게 됐다.