turbopuffer, v3 공개로 ANN 인덱스 보조 전환… 2026년 9월 초 CI 100% 통과

turbopuffer가 turbopuffer v3을 공개하며 스토리지 아키텍처의 근본적인 변화를 예고했다. 이번 업데이트는 Approximate Nearest Neighbor(ANN) 인덱스를 주 인덱스에서 보조 인덱스로 전환하여, 문서 스토리지를 벡터 클러스터링 제약에서 분리한다. 이를 통해 더 큰 규모에서 다양한 쿼리 플랜을 지원할 수 있게 된다.

변경 이유

기존 아키텍처는 문서를 ANN 주소로 키링하는 방식이었으며, 이로 인해 세 가지 주요 병목현상이 발생했다.

• 스토리지 증폭: 멀티 벡터 문서(예: late interaction)의 경우 모든 벡터마다 비벡터 데이터를 복제해야 해 스토리지 효율이 낮았다.
• 쓰기 증폭: 업데이트나 삭제 시 SPFresh 리밸런싱이 발생하며, 전체 문서 내용과 연관된 역 인덱스까지 이동해야 해 인덱싱 처리량에서 수확 체감이 발생했다.
• 벡터화 제한: 쿼리 엔진은 대용량 데이터 블록 처리(예: DuckDB의 2,048행)에 유리하지만, ANN 클러스터 크기(약 100~200개 문서)가 집계나 스캔과 같은 비벡터 쿼리의 블록 크기를 제한했다.

v1 및 v2 배경

• v1: SPANN과 이후 SPFresh를 사용하여 계층적 클러스터링을 수행했으며, 모든 것을 ClusterId와 LocalId(ANN 주소)로 키링했다.
• v2: 속성 필터링과 BM25 전문 검색을 추가했다. FTS v2는 포스트를 고정 블록으로 재구성하여 성능을 개선했으나, 다른 쿼리 플랜들은 여전히 ANN 중심 레이아웃의 제약을 받았다.

현재 상태

2026년 9월 초 기준, turbopuffer v3은 CI 테스트 100% 통과를 달성했다. 팀은 이 마일스톤이 프로덕션 대비 상당한 성능 저하를 의미한다고 밝혔다. 이는 기본 설계와 정확성에 초점을 맞췄기 때문이다. 현재 성능 튜닝이 진행 중이며, 최적화가 적용됨에 따라 벤치마크 결과가 공개될 예정이다.