Amazon Bedrock Vision LLM과 Amazon OpenSearch Service를 활용한 농약 제품 이미지 인식 시스템 구축기

㈜경농은 고령 농업인의 편의성을 높이기 위해 텍스트 입력 없이 스마트폰 촬영만으로 제품 정보를 찾는 시각적 검색 시스템을 개발했다. 기존의 단순 OCR 방식이 가진 한계, 즉 흐릿한 이미지나 복잡한 디자인의 텍스트 인식 문제를 해결하는 데 집중했다.

시스템은 총 3단계의 아키텍처로 작동한다.

• Stage 1 (Vision LLM): 라벨에서 제품명, 등록번호, 제조사 등을 추출하며, TypoCorrector를 통해 OCR 오타를 보정한다.
• Stage 2 (Amazon OpenSearch Service): 계층적 Fallback 방식을 통해 '정확 일치'부터 '부분 매칭'까지 단계적으로 후보군을 검색한다.
• Stage 3 (LLM Reranker): 원본 이미지를 다시 분석하여 최종 검색 결과의 순위를 결정한다.

특히 Vision LLM의 응답 속도를 높이기 위해 압축 JSON 포맷을 설계하여 토큰 사용을 최소화했으며, 제품명 디자인이 화려한 경우를 대비해 프롬프트에 시각적 컨텍스트를 명시적으로 제공하여 인식률을 높였다. 또한 RapidFuzz 라이브러리를 활용해 오타가 발생하더라도 실제 제품명을 정확히 매칭할 수 있는 보정 로직을 구현했다.