메모리 검색 성능 개선: New Computer, LangSmith를 통해 재현율 50% 향상 달성

개인용 AI 'Dot'을 개발하는 New Computer는 사용자의 언어적, 행동적 단서를 학습하는 장기 메모리 시스템을 구축하고 있습니다. 이들은 기존의 정적인 RAG 방식에서 벗어나, 메모리 생성 단계부터 정보를 구조화하여 검색 효율을 높이는 에이전트 메모리(Agentic Memory) 시스템을 도입했습니다.

New Computer는 LangSmith를 활용해 다양한 검색 방법론을 테스트하고 최적화했습니다. 주요 성과는 다음과 같습니다.

• 재현율(Recall) 50% 향상
• 정밀도(Precision) 40% 향상

이들은 개인정보 보호를 위해 LLM으로 생성한 합성 데이터(Synthetic Data)를 사용했으며, Semantic Search, BM25, Meta-field Filter 등 여러 기법을 병렬로 실행하며 최적의 조합을 찾아냈습니다. LangSmith의 SDK와 Experiments UI는 이러한 복잡한 실험 과정을 효율적으로 관리하고, 프롬프트 변경이 전체 시스템에 미치는 영향을 검증하는 데 핵심적인 역할을 했습니다.