GS SHOP의 영상 기반 AI 상품 추천 플랫폼 구축기

GS SHOP 검색추천파트는 TV 홈쇼핑에서 만든 30초 내외의 숏픽을 단순 부가 콘텐츠가 아니라 추천 신호로 바꾸는 작업에 나섰다. 기존에는 1시간짜리 방송을 PD가 다시 보며 재방송에 부적합한 장면을 지우고 하이라이트를 골라야 했고, 숏픽 추천도 결국 상품 추천 결과에 영상이 따라붙는 구조였다.

영상 검색은 TwelveLabs Marengo 2.7를 Amazon Bedrock에서 붙이면서 시작됐다. Marengo는 영상 청크를 임베딩해 자연어 질의를 바로 비교할 수 있게 했고, 쇼핑호스트가 수육에 김치 한 점을 올려 젓가락으로 맛있게 집어먹는 모습 같은 한국어 문장도 높은 정확도로 찾아냈다. 그 결과 PD가 수 시간 걸리던 검수 작업을 수 초 만에 끝낼 수 있었다. 이후 Pegasus 1.2로 영상 전체의 맥락을 읽는 단계까지 확장했다.

기존 숏픽 추천은 최근 클릭 로그를 바탕으로 CF/CB가 상품을 뽑고, 그중 숏픽이 있는 경우만 노출하는 방식이었다. 영상 자체의 내용은 거의 쓰지 못했기 때문에, GS SHOP은 Amazon S3, Amazon Redshift, Amazon OpenSearch Service, Amazon ElastiCache (Redis) 위에 Bedrock 모델 체이닝을 얹어 영상 이해 결과를 추천으로 연결했다.

핵심은 소구 포인트(Appeal Point) 추출이었다. Pegasus가 영상 전체를 설명하면 Claude Sonnet 4가 추천용 키워드를 뽑고, Cohere Embed Multilingual이 이를 벡터화해 Amazon OpenSearch Service에서 Cosine Similarity로 유사도 검색한다.

• AS-IS: 영상 전체 설명을 그대로 임베딩해 브랜드명과 상품명에 끌렸고, 비슷한 운동화만 추천되는 문제가 있었다.
• TO-BE: 통기성, 착화감, 편안한 활동성 같은 핵심 맥락만 남기자, 레깅스·바람막이·일상복까지 추천 범위가 넓어졌다.

결국 GS SHOP은 영상 이해를 검색 도구에서 끝내지 않고, 숏픽 추천을 영상 기반 상품 추천으로 다시 설계해 실제 서비스에 연결했다.