프롬프트를 쓰는 PM과 AI를 이해시키려는 개발자

올리브영은 2026년 3월 카카오톡 챗GPT 연동에 이어, 8월에는 ChatGPT 전용 플러그인을 공식 출시했다. 이를 통해 사용자는 피부 유형, 성분, 할인 여부 등을 반영한 상품 추천과 실제 구매자 리뷰 기반의 검색 경험을 누릴 수 있게 됐다. 7월 기준 ChatGPT를 통한 올리브영 온라인몰 월간 방문객은 1월 대비 30% 이상 증가했다.

LLM과 소통하는 '힌트 게임'

기술적으로 MCP(Model Context Protocol) 구현 자체는 기존 검색 서비스의 규격만 맞추면 되는 단순한 작업이었다. 하지만 실제 운영 환경에서는 LLM이 사용자의 의도를 정확히 파악하지 못하는 문제가 발생했다. 이는 LLM이 Tool Description(도구 설명)이라는 힌트만 보고 정답을 추론해야 하는 '몸으로 말해요' 게임과 유사한 상황이었다.

특히 가격대 검색에서 minPrice와 maxPrice 파라미터가 오인식되는 사례가 빈번했다. 예를 들어 사용자가 '2000만원대'라고 입력했을 때 LLM이 이를 '2만원대'로 잘못 해석하거나, '15000원' 조건에서 기대와 다른 가격대의 상품이 노출되는 현상이 나타났다.

PM과 개발자의 상반된 해결 접근법

이러한 문제를 해결하기 위해 PM과 개발자는 서로 다른 전략을 시도했다.

• PM의 접근 (Few-Shot 예시 제공): LLM이 추상적 규칙보다 구체적인 예시를 통해 더 잘 판단한다는 점에 착안했다. '2만원대', '3만원 이하', '15000원' 등 다양한 발화 유형과 그에 따른 정확한 파라미터 값을 Few-Shot으로 Description에 추가했다.
• DEV의 접근 (수학적 규칙 설명): 모든 가능한 발화 유형을 예시로 나열하는 것은 확장성이 떨어진다고 판단했다. 대신 'n만원대'를 계산하는 수학적 규칙(예: 2만원대는 20,000~29,999원)을 명시하여 LLM이 일반화된 로직으로 범위를 계산하도록 유도했다.

이 사례는 AI 서비스 개발에서 단순한 기능 구현을 넘어, LLM의 추론 특성을 이해하고 프롬프트와 파라미터 설명을 정교하게 다듬는 과정이 얼마나 중요한지를 보여준다.