Factory, LangSmith를 활용해 피드백 루프를 자동화하고 반복 속도를 2배 향상시킨 방법

SDLC 자동화 플랫폼을 구축하는 Factory는 복잡한 LLM 워크플로우를 관리하기 위해 Self-hosted LangSmith를 도입했다. 이를 통해 기업 수준의 데이터 보안을 유지하면서도 자율형 LLM 시스템에 필요한 정밀한 관측성을 확보했다.

기존의 수동적인 디버깅 방식과 커스텀 도구로 인한 설정의 어려움을 해결하기 위해 Factory는 다음과 같은 기술적 통합을 구현했다.

• AWS CloudWatch와의 통합: LangSmith의 트레이스를 CloudWatch 로그와 연결하여 LLM 파이프라인의 데이터 흐름을 정밀하게 추적하고 에이전트의 동작 단계를 파악함.
• 컨텍스트 인식 문제 해결: 각 LLM 호출에 피드백을 직접 연결하여 환각(Hallucination) 현상을 빠르게 식별하고 수정함.

또한, LangSmith Feedback API를 활용해 제품 피드백 루프를 최적화했다. 사용자의 피드백을 데이터셋으로 내보내 패턴을 분석하고, 이를 기반으로 프롬프트를 자동 최적화하는 프로세스를 구축했다.

이러한 자동화된 피드백 수집 및 처리 프로세스는 프롬프트 최적화 시간을 단축했을 뿐만 아니라, 엔지니어의 인지적 부하와 인프라 요구 사항을 줄여 전체적인 반복 속도(Iteration Speed)를 2배 향상시키는 결과를 가져왔다.