Fireworks를 활용해 비용을 100배 절감한 Trace Judge 구축하기

AI 에이전트가 생성하는 데이터가 급증함에 따라, 에이전트의 동작을 이해하기 위한 trace(추적) 데이터의 중요성이 커지고 있습니다. LangSmith는 모든 trace에서 중요한 신호를 효율적으로 추출하기 위해 Fireworks와 협력하여 새로운 Trace Judge를 구축했습니다.

이번 프로젝트의 핵심은 사용자가 AI의 답변을 수정하거나 재요청하는 등의 행동을 통해 오류를 인지하는 **'Perceived Error(인지된 오류)'**를 탐지하는 것입니다. 이는 객관적인 정답 여부가 아니라, 사용자가 AI의 결과물에 대해 느끼는 오류를 포착하는 데 집중합니다.

주요 성과는 다음과 같습니다:

• Qwen 모델을 미세 조정하여 frontier 모델(최상위 모델)과 대등하거나 그 이상의 성능을 구현했습니다.
• 기존 방식 대비 운영 비용을 최대 100배 절감했습니다.
• chat-langchain 및 Fleet 등 서로 다른 도메인의 데이터셋을 활용해 모델의 범용성을 검증했습니다.

데이터 준비 과정에서는 정보의 핵심이 되는 Human 및 AI 메시지에 집중했으며, 도구 호출(tool calls)은 제외하여 학습 효율을 높였습니다.