SK플래닛, LLM 기반 DMP 'Seg Lens' 개발… 마케터 의도 자동 세그먼트화

SK플래닛 데이터서비스개발팀이 LLM 기반 DMP(Data Management Platform) Seg Lens 시스템을 개발했다. 기존 DMP는 마케터가 복잡한 데이터 구조를 이해하고 나이, 행동, 관심사 등 논리적 조건을 수동으로 입력해야 해 평균 2~3시간이 소요되고 휴먼 에러 발생 가능성이 높았다. Seg Lens는 LLM을 도입해 자연어 문장을 해석하고 구조화된 데이터 조건으로 자동 변환함으로써 이러한 학습 곡선과 비효율을 해결한다.

핵심 기능 및 아키텍처

Seg Lens는 DIA(DMP Intelligence API) 모듈과 벡터 데이터베이스(Vector DB)로 구성된다. DIA는 OpenAI GPT-4 기반 LLM 서비스, 3,072차원 벡터 유사도 검색을 수행하는 Vector Service, 그리고 정확한 매칭을 담당하는 Keyword Service로 이루어져 있다. 사용자는 "서울에 사는 30~40대 여성에게 노트북 추천"과 같은 자연어 질의나 이미지를 입력할 수 있으며, 시스템은 이를 '서울 AND (30대 OR 40대) AND 여성 AND 노트북'과 같은 논리 구조로 파싱한다.

벡터 검색 및 의미 확장 기술

단순 키워드 검색의 한계를 극복하기 위해 Semantic Expansion(의미 확장) 기법을 적용했다. 사용자 입력을 동의, 상위, 하위, 연관 세그먼트로 확장한 후 임베딩하여 검색 정확도를 높인다. 예를 들어 '자동차' 입력 시 'SUV', '현대/기아 소형차', '자동차 보험' 등 맥락적 유사성을 가진 세그먼트를 함께 제안한다. 검색에는 Elasticsearch의 KNN(k-Nearest Neighbors) 쿼리와 코사인 유사도(Cosine Similarity)를 활용해 의미적으로 가까운 Top-K 결과를 반환한다.

비용 최적화 및 접근 제어

5만 개 이상의 항목에 대한 임베딩 과정에서 Batch API를 사용해 실시간 API 대비 비용을 50% 절감(연간 약 $9,000)하고 처리 안정성을 확보했다. 또한 사이트별 권한 관리를 위해 검색 쿼리의 filter 영역에 site_resource_index 정보를 반영하여, 관리자 콘솔과 파트너 사이트 간 데이터 접근 범위를 명확히 구분한다. 이를 통해 마케터는 데이터 엔지니어링 지식 없이도 고객 이해 전략 수립에 집중할 수 있게 됐다.