Candidly, LangSmith로 상태 인식 에이전트 하네스 구축하기

대부분의 대화형 AI는 대화 종료 후 결과를 평가하지만, Candidly는 대화 중 실시간으로 사용자의 상태를 파악해 대응 전략을 조정하는 상태 인식 에이전트 하네스를 개발했습니다. 이 시스템은 부분적인 대화 기록(trace)을 분석하여 사용자의 현재 상태를 추론하고, 과거 유사 대화의 전환 패턴을 기반으로 최적의 응답 기능을 선택합니다.

대화 결과 예측을 위해 하이브리드 라벨링 파이프라인을 구축했습니다. 명확한 경우(예: 명시적 불만, 첫 메시지 후 무응답)는 결정론적 규칙으로 처리하고, 모호한 경우는 대화 패턴에 따라 LLM-as-judge 평가기로 라우팅했습니다. 이 파이프라인은 인간이 라벨링한 LangSmith 데이터셋과 대조하여 **92.3%**의 일치율을 달성했습니다.

이러한 접근법은 단순한 사후 평가가 아닌, 에이전트가 실시간으로 개입할 수 있는 **정책 표면(policy surface)**을 제공합니다. 이를 통해 Candidly의 AI 재무 플래너 'Cait'는 채무 상환, 저축, 은퇴 등 고위험 금융 결정 과정에서 사용자의 의도를 더 정확하게 파악하고 효과적인 도움을 줄 수 있습니다.