Amazon S3 Vectors, 메타데이터 사전 필터링으로 필터링 검색 재현율 5배 향상

Amazon S3 Vectors가 메타데이터 사전 필터링(metadata pre-filtering) 기능을 지원한다. 이 기능은 유사도 검색 실행 전에 메타데이터 필터를 평가해 필터링된 쿼리의 재현율(recall)을 높인다. 테넌트, 카테고리, 상태, 시간 등 속성으로 검색 범위를 지정할 수 있어 전체 인덱스의 일부가 아닌 필터에 맞는 모든 관련 벡터를 검색한다.

사전 필터링 작동 방식

ENHANCED라는 새로운 인덱스 모드가 도입됐다. 이 모드에서는 필터를 먼저 해결한 후 일치하는 벡터만 검색한다. 기존 CLASSIC 모드는 벡터 검색과 필터 평가가 동시에 진행되어 높은 선택성(selectivity)의 쿼리에서 관련 매칭을 놓칠 수 있다.

• 높은 재현율: 높은 선택성 필터에서 CLASSIC 인덱스 대비 최대 5배 더 많은 일치 벡터를 반환한다.
• 재삽입 불필요: 기존 인덱스를 ENHANCED 모드로 업데이트할 때 데이터 재삽입이나 쿼리 변경이 필요 없다.
• 새 연산자: 경로, URL, 계층적 키의 접두사 매칭을 위한 $startsWith 연산자가 추가됐다.

사용 사례 및 구현

결과의 관련성과 범위 정확성이 모두 중요한 애플리케이션에 설계됐다.

• 법률 및 전문 서비스: 문서 검색을 단일 클라이언트나 사건 번호로 제한.
• 금융 서비스: 발행사, 문서 유형, 날짜별 애널리스트 노트 필터링.
• 에이전트 애플리케이션: 에이전트 검색을 특정 사용자의 세션이나 문서 세트로 제한.

기능 활성화는 UpdateIndexMode API로 인덱스 모드를 업데이트하면 된다. 2026년 9월 30일 이후 생성된 벡터 버킷의 새 인덱스는 기본적으로 ENHANCED 모드를 사용한다. 각 벡터는 최대 2 KB의 필터링 가능한 메타데이터를 가질 수 있으며, 단일 쿼리는 최대 100개의 필터 제약 조건을 지원한다.

가용성 및 비용

메타데이터 사전 필터링은 Amazon S3 Vectors가 제공되는 모든 AWS 상용 리전과 AWS 중국 리전에서 추가 비용 없이 사용 가능하다. 사용자는 스토리지, PUT 요청, 쿼리에 대해 기존 S3 Vectors 표준 요금제를 계속 지불한다.