LLM으로 인간 라벨링을 증폭해 Dash 검색 관련성을 높이는 방법

Dropbox Dash는 RAG 패턴으로 검색과 답변 생성을 결합한다. 먼저 엔터프라이즈 검색으로 문서를 찾고, 그중 일부만 LLM에 넘겨 답을 생성한다. 그래서 최종 답변 품질은 검색 랭킹과, 그 랭킹을 학습시키는 relevance label의 품질에 크게 좌우된다.

랭킹 모델은 사람이 직접 규칙을 쓰는 대신 XGBoost 같은 머신러닝 방식으로 학습된다. 쿼리-문서 쌍에 대해 1~5점 relevance scale로 라벨을 붙이고, 모델은 이 예시를 바탕으로 더 유용한 결과를 위로 올리도록 학습한다. 여기서 핵심은 고품질 라벨을 충분히 확보하는 일이다.

라벨은 세 가지 방식으로 얻을 수 있다.

• 사용자 행동 신호: 클릭, 건너뛰기 같은 신호로 추정
• human labeling: 사람이 직접 점수 부여
• LLM evaluation: LLM이 relevance judgment 생성

다만 사용자 행동은 편향과 희소성이 있고, 사람 라벨링은 비싸고 확장하기 어렵다. 특히 민감하거나 사내 고유 문서는 사람이 직접 대량 평가하기가 사실상 불가능하다. 반면 LLM은 더 싸고, 더 일관되며, 더 큰 후보 집합과 여러 언어를 다룰 수 있지만, 품질과 지시문 설계에 강하게 의존하므로 반드시 human review로 보정해야 한다.

Dash는 소량의 human-labeled data로 LLM을 먼저 검증하고, 그 결과를 바탕으로 프롬프트와 파라미터를 조정한다. 기준을 통과하면 LLM이 수십만~수백만 개의 관련성 라벨을 생성해 랭킹 모델 학습에 쓰인다. 인간이 LLM을 가르치고, LLM이 대규모 학습 데이터를 만들어 주는 구조로, 인간의 노력이 100배까지 증폭된다.

LLM의 품질 평가는 인간 라벨과의 일치도를 기준으로 이뤄진다. 정확히 같으면 손실이 0이고, 최악의 불일치에서는 mean squared error(MSE) 가 최대 16까지 올라간다. 작은 차이는 작은 벌점, 큰 차이는 큰 벌점을 주는 방식으로 프롬프트와 모델을 반복 개선한다.

평가 데이터는 무작정 늘리기보다, 오류가 드러날 가능성이 큰 사례에 집중한다. 예를 들어 LLM이 낮게 평가한 문서를 사용자가 클릭하거나, 높게 평가한 문서를 계속 건너뛰는 경우를 우선적으로 분석한다. 이런 불일치는 human review와 프롬프트 개선의 우선순위를 정하는 데 쓰인다.

정확한 relevance 판단에는 문서와 쿼리 텍스트만으로는 부족한 경우가 많다. Dropbox 내부에서 "diet sprite" 같은 표현은 음료가 아니라 사내 성과관리 도구를 뜻할 수 있고, 약어는 조직마다 의미가 다를 수 있다. 그래서 Dash는 LLM이 쿼리 맥락을 먼저 조사할 수 있는 도구를 제공해, 더 일관된 context-aware labeling을 하게 만든다.

프롬프트 최적화도 중요한 축이다. 잘못 분류된 사례를 보고 지시문을 고치고 다시 평가하는 반복이 이어지며, DSPy 같은 meta-prompting 프레임워크가 이 과정을 자동화하는 데 도움을 준다. MSE 개선은 프롬프트 정교화, reasoning-optimized model 도입, 쿼리 맥락 추가, DSPy 최적화가 함께 만든 결과로 제시된다.

핵심 결론은 분명하다. LLM은 human judgment를 대체하는 존재가 아니라, 작은 고품질 인간 라벨을 기반으로 측정 가능하고 감사 가능하며 수정 가능한 대규모 평가 시스템으로 확장하는 도구다. Dash가 이미지, 비디오, 메시지, 채팅 등 더 많은 콘텐츠 타입으로 확장하더라도, 인간이 보정한 LLM evaluation은 relevance를 일관되게 스케일하는 공통 메커니즘으로 남는다.