Amazon OpenSearch Service, MeCab-Ko 기반 커스텀 Nori 분석기 빌드 및 적용 가이드

Amazon OpenSearch Service의 기본 Nori 형태소 분석기는 사용자 사전으로 용어를 추가할 수 있으나, 품사 태그나 토큰별 비용 세밀한 조정에 제약이 있습니다. 이 가이드는 MeCab-Ko 엔진을 직접 빌드해 사전의 품사와 단어 비용을 조정하고, 이를 Lucene Nori 플러그인으로 패키징하여 검색 정확도를 높이는 방법을 다룹니다.

빌드 및 사전 구성

로컬에서 MeCab-Ko 엔진과 사전을 빌드한 후, Lucene DictionaryBuilder를 통해 Nori 플러그인용 JAR 파일을 생성합니다. 사전 CSV 파일에서 단어 비용(예: -10000)을 낮추면 특정 상품명이 하나의 항목으로 유지되도록 분석 경로를 유도할 수 있으며, 복합명사 분해 정보를 지정해 원형과 분해 토큰을 함께 출력하는 mixed 모드 등을 설정할 수 있습니다.

도메인 적용 및 검증

생성된 플러그인 ZIP 파일을 S3에 업로드하고 Amazon OpenSearch Service 도메인에 패키지로 연결합니다. 기본 Nori를 사용하는 도메인 A와 커스텀 Nori를 사용하는 도메인 B에서 동일한 입력을 분석해 결과를 비교합니다. 실험 결과, 기본 Nori는 '노을빛무선청소기'를 세 단어로 분리한 반면, 커스텀 Nori는 이를 하나의 고유명사로 인식하거나 분해 모드를 통해 유연하게 처리하는 것을 확인했습니다.

운영 고려사항

커스텀 플러그인 적용 시 사전 변경은 기존 인덱스에 영향을 주지 않으므로, 새 설정으로 재색인 후 alias 전환이 필요합니다. 또한 단어 비용을 과도하게 조정하면 일반 문장의 분석까지 변경될 수 있으므로, 실제 상품 데이터와 검색어를 대상으로 회귀 테스트를 수행해야 합니다.