LambdaDB, 네이티브 임베딩으로 AI 메모리 파이프라인 입력 토큰 95% 절감

LambdaDB 팀이 지식 그래프나 LLM 기반 요약 없이 원본 텍스트를 보존하는 AI 메모리 파이프라인을 공개하고 입력 토큰 95% 절감 달성함
LongMemEval(500개 질문)에서 전체 히스토리 대비 95.2%인 정확도 96.0%(480/500)를 기록하고 평균 입력 토큰을 105,183에서 4,886으로 감축함
전체 히스토리 처리 비용 $105.53 대비 91~93% 절감된 $7.51~$9.42의 실행 비용 추정치 산출함
원본 텍스트 청크의 네이티브 임베딩 인덱싱, 네이티브 리랭킹 기반 베이지안 하이브리드 검색, 4,096 토큰 예산 내 컨텍스트 조립의 3단계 ELT 방식 적용함
BEAM 벤치마크에서 100K 토큰 시 89.00, 10M 토큰 시 80.64 점수를 획득하여 past.dev 공개 결과와 3.1~4.4점 이내 차이 유지함
데이터 버전 관리를 활용한 대화 분기 및 체크포인트로 공유 히스토리를 재사용하여 500개 메시지 메모리 준비 시간을 내장 벡터 저장소의 142초 대비 약 1.0초로 단축함
SillyTavern용 오픈소스 확장인 SillyMemory를 통해 LambdaDB의 저장, 검색, 버전 관리를 통합하며 내장 벡터 저장소나 요약 확장 비활성화 필요함

핵심 내용