LangSmith로 에이전트 동작 최적화 및 엔지니어 개입 90% 절감한 Podium

소규모 비즈니스의 고객 응대를 돕는 Podium은 AI 기반 에이전트 제품인 AI Employee을 출시했습니다. 초기에는 LangChain 프레임워크를 사용했으나, 에이전트 사용 사례가 복잡해지면서 LLM 호출 및 상호작용에 대한 가시성이 필요해져 LangSmith를 도입했습니다.

Podium은 에이전트 개발 라이프사이클 전반에 걸쳐 피드백 루프를 구축하는 데 중점을 두었습니다. 주요 테스트 접근 방식은 다음과 같습니다.

• 베이스라인 데이터셋 큐레이션: 기본 사용 사례를 대표하는 초기 데이터셋 생성
• 오프라인 평가: 프로덕션 배포 전 기본 요구사항에 따른 성능 평가
• 피드백 수집: 사용자 직접 입력 및 LLM 기반 실시간 온라인 평가
• 최적화: 프롬프트 튜닝, 검색 메커니즘 조정, 트레이스 데이터 기반 모델 파인튜닝
• 지속적 평가: 백테스팅 및 페어와이즈 비교를 통한 오프라인 평가 및 데이터셋 확장

이러한 프로세스를 통해 Podium은 AI 플랫폼의 고품질 고객 지원을 엔지니어 개입 없이 제공할 수 있게 되었고, 결과적으로 엔지니어 개입을 **90%**까지 줄이는 성과를 거두었습니다.