분류하지 말고, 환각(Hallucinate)시키세요!

제품이나 검색 쿼리를 분류할 때, 수백 개의 카테고리가 포함된 **구조화된 출력(Structured Outputs)**을 사용하는 방식은 비용이 많이 들고 토큰 제한 문제에 직면할 수 있습니다.

대신, **'환각(Hallucination) 패턴'**을 활용하면 훨씬 저렴하고 효율적으로 분류 작업을 수행할 수 있습니다.

핵심 프로세스:

• 환각 유도: 저렴하고 작은 LLM에게 쿼리에 적합한 '그럴듯한 가짜 분류명'을 만들어내도록 요청합니다. 이때 실제 카테고리 목록을 프롬프트에 포함할 필요가 없습니다.
• 임베딩 생성: 실제 카테고리 목록에 대해 미리 계산된 임베딩(Embeddings) 세트를 보유합니다.
• 유사도 매칭: LLM이 생성한 가짜 분류명의 임베딩을 계산한 뒤, 이를 실제 카테고리 임베딩들과 **내적(Dot Product)**하여 가장 유사한 실제 값을 찾아냅니다.

이 방식을 사용하면 대규모 분류 체계(Taxonomy)를 모델에 직접 전달할 필요가 없으며, **작고 성능이 낮은 모델(Small/Dumb models)**로도 대규모 분류 작업을 경제적으로 수행할 수 있습니다.