Databricks MemCurrent, 에이전트 통과율 3배 향상 및 토큰 사용량 31% 절감

• Databricks가 프로덕션 에이전트를 위한 영속적 메모리 아키텍처 MemCurrent를 출시했으며, 현재 Agent Bricks Memory와 Genie에 적용됨
• 내부 벤치마크 기준 메모리 없는 베이스라인 대비 에이전트 통과율이 3배(22.3%에서 68.4%로) 개선되고, 토큰 사용량이 31% 감소하며 실행 속도가 26% 향상됨
• 시스템은 세 가지 메모리 접근 방식(Plugin, Tools, Offline Pipeline)과 두 가지 메모리 유형(Episodic, Derived)을 결합하여 품질과 효율성을 균형 있게 관리함
• 오픈소스 벤치마크(LoCoMo, LongMemEval, ConvoMem)에서 MemCurrent는 전체 컨텍스트 주입 방식 대비 입력 토큰을 약 12배(103K 대비 8.4K) 절감하면서도 88.1%의 정확도를 달성함

Architecture and Design

• Episodic 메모리는 append-only Plugin 기록을 통해 원시 세션 트레이스를 저장하고, Derived 메모리는 memory.md로 인덱싱된 파일에 구조화된 지식을 추출함
• 명시적 사용자 요청은 에이전트 도구(add_memory, update_memory)로 처리되며, 암묵적 학습은 데이터를 통합하고 중복을 제거하는 오프라인 드림 파이프라인을 통해 처리됨
• 읽기 과정은 세션 시작 시 Plugin을 통한 메모리 인덱스 주입과 실행 중 search_memory 또는 fetch_memory 도구 호출로 이루어짐

Evaluation and Results

• Internal Memory Benchmark는 29명의 사용자, 2,233개 히스토리 세션에서 추출한 114개 테스트 케이스로 구성되며 엔터프라이즈 데이터 워크스페이스 작업에 초점을 맞춤
• MemCurrent는 Mem0(통과율 43.9%)와 PropMem을 능가했으며, 메모리 없는 상태와 골드 주입 상한선 사이의 격차를 80% 이상 줄임
• 아블레이션 연구 결과 Derived 메모리가 성능에 가장 큰 기여(단독 통과율 66.1%)를 하며, 오프라인 드림과 온라인 도구의 조합이 최적의 추출 전략(통과율 66.1%)으로 나타남

Real-World Impact

• 실제 환경에서 MemCurrent는 과거 SQL 실행 오류를 저장하여 환각을 방지하고 워크플로우 캐싱을 통해 계산 비용을 절감했으며, 유사 쿼리에 대한 도구 호출 횟수를 11회에서 2회로 줄임
• 메모리 시스템은 이동 가능한 지식 베이스 역할을 하여 사용자가 에이전트나 LLM을 전환할 때 조직적 컨텍스트를 유지할 수 있게 함