낯선 오타와 싸워 이기고 싶은 마음

SSG.COM의 검색은 고객의 상품 도달을 책임지는 핵심 경로다. 기존의 로그 기반 오타보정은 정확도는 높지만, 검색 실패가 발생한 이후에야 데이터를 수집할 수 있는 사후 대응적 방식이라 커버리지가 낮다는 한계가 있었다.

이를 극복하기 위해 검색어 임베딩, 벡터 검색, 번역 모델 도입을 검토했으며, 리소스 효율성이 가장 높은 오타-정타 번역 모델을 최종 선정했다. 데이터 확보를 위해 정타에서 오타를 직접 생성하는 데이터 증강(Data Augmentation) 전략을 사용했다.

모델 도입 과정에서 발생한 Hallucination(환각) 문제는 다음과 같은 방법으로 해결했다.

• Multitask Learning: 검색어와 상품명, 카테고리 간의 관계를 함께 학습시켜 문맥 정보를 반영하도록 했다.
• 편집거리(Edit Distance) 필터링: 입력과 출력의 편집거리가 일정 수준 이상 멀어질 경우 결과를 기각하는 안전장치를 구축했다.