Dropbox가 DSPy를 사용하여 Dash Chat의 AI 평가를 더 나은 응답으로 전환한 방법

Dropbox의 AI 기능인 Dash Chat은 문서, 메시지, 회의록 등 다양한 소스에서 정보를 가져와 사용자 질문에 답하는 에이전트 기반 서비스입니다. 에이전트의 품질을 측정하기 위해 단순한 최종 응답뿐만 아니라 의도 파악, 도구 사용, 맥락 수집, 근거 제시 등 전체 수행 과정을 평가하는 LLM-as-judge 체계를 구축했습니다.

에이전트 평가는 단일 출력을 판단하는 기존 검색 관련성 평가보다 훨씬 복잡합니다. 에이전트는 다단계 프로세스를 거치며, 도구 호출(Tool calling)과 다회차 대화(Multi-turn)를 포함하기 때문입니다. 따라서 의도 이해, 도구 사용, 맥락 선택, 합성, 근거 제시 등 각 구성 요소를 개별적으로 평가할 수 있는 정교한 레이어가 필요합니다.

Dropbox는 DSPy 프레임워크를 도입하여 평가 프로세스를 최적화하는 2단계 전략을 사용했습니다.

• 1단계: 평가 모델(Judge) 고도화: 소량의 인간 라벨링 데이터를 기준으로 DSPy의 최적화 알고리즘(GEPA, MIPROv2)을 적용하여, LLM 평가 점수가 인간의 판단과 일치하도록 교정했습니다.
• 2단계: 에이전트 최적화: 개선된 평가 모델을 사용하여 Dash Chat 에이전트의 System Prompt를 최적화하는 피드백 루프를 구축했습니다.

이러한 접근 방식을 통해 응답의 완성도를 높이는 동시에, 품질 저하 없이 Token 사용량을 줄이는 성과를 거두었습니다.