LangChain, OpenWiki와 증거 그래프로 에이전트 메모리 정확도 5배 향상 확인

• 컴파일된 위키 메모리 레이어인 OpenWiki는 키워드 검색 단독 사용 대비 연결된 질문에서 에이전트 정확도를 5배 높여 0.10에서 0.52로 향상시킴
• 위키 인용을 유형화된 엣지로 구현하는 경량 증거 그래프를 추가하면 정확도가 27% 더 개선되고 인용 일관성이 2배 증가하며 정답당 비용이 58% 감소함
• 증거 그래프는 추가 모델 호출 없이 기존 문서 참조와 위키 인용을 기반으로 결정론적으로 구축되며 탐색을 위해 locate 및 expand 도구 사용
• 단순 조회 질문에서는 위키가 검색 대비 정확도 이점이 없으며(0.83 대 0.84) 지연 시간이 증가하여 메모리 레이어의 가치는 반복적인 크로스 소스 추론에서 가장 큼

실험 설정

• 크로스 문서 의존성을 통제하기 위해 972개 사실 장부를 가진 111개 보험 문서의 합성 라이브러리로 테스트
• 80개의 단순 조회 질문과 50개의 연결된 질문을 각각 3회 반복하여 런 간 변동을 측정
• 정확도(사실 장부 대비 검증), 일관성(인용의 자카드 유사도), 질문당 비용 및 지연 시간을 지표로 사용

비용 및 한계

• 111개 문서 라이브러리를 위키로 컴파일하는 데 4.15달러 소요, 이후 17개 신규 문서 추가 시 개당 약 0.09달러 발생
• 보고된 답변 비용은 컴파일 및 업데이트 비용을 제외하고 검색 및 답변에만 초점
• 증거 그래프는 검색 일관성을 개선하지만 에이전트를 완전히 결정론적으로 만들지는 않으며 위키의 모델 생성 인용 정확도에 의존