LangChain, 인간 통찰력으로 더 나은 에이전트 구축 전략 제시

자동화 지표가 놓치는 품질 기준을 인간 전문성이 정의하며, 도메인 전문가가 평가 기준(rubric)의 공백을 식별하고 특정 에이전트 상호작용의 성공 또는 실패 이유를 설명함
개별 단계가 아닌 전체 대화 스레드를 검토함으로써, 다중 턴 에이전트 세션에서 수 회 전 발생했을 수 있는 오류를 진단하는 데 필요한 맥락을 제공함
구조화된 인간 피드백은 LLM 판정판(judges) 보정, 온라인 평가자 업데이트, 오프라인 테스트용 골든 데이터셋 구축을 위한 정답(ground truth)으로 활용됨
Fetch Rewards는 주석 큐(annotation queues)를 사용해 AI 응답이 실제 데이터에 기반했는지 검증하며, 제품 이미지가 설명과 일치하는지 및 오퍼가 실제로 사용 가능한지 확인함
LangSmith는 큐 항목을 전체 스레드로 설정할 수 있어 리뷰어가 세션 전체를 확인하고, 트래젝터리 뷰를 통해 메시지와 도구 호출을 순서대로 읽을 수 있도록 지원함

핵심 내용