AI Search: 에이전트를 위한 검색 원시 기능

AI Search(구 AutoRAG)는 에이전트용 검색을 바로 붙여 쓸 수 있는 검색 프리미티브다. 벡터 인덱스, 문서 파싱·청킹, 인덱스 유지보수를 따로 조합하던 복잡함을 줄이고, Worker, Agents SDK, Wrangler CLI에서 인스턴스를 동적으로 만들고 검색할 수 있다.

가장 큰 변화는 hybrid search다. vector search와 BM25 키워드 검색을 병렬로 실행해 결과를 합치며, 필요하면 reranking까지 적용한다. 의미를 잘 잡는 벡터 검색과 정확한 문자열을 찾는 키워드 검색을 한 번에 쓰게 해, "ERR_CONNECTION_REFUSED" 같은 구체적 오류도 놓치지 않는다.

에이전트 활용 예시로는 고객지원 시나리오가 나온다. 공유 제품 문서용 인스턴스와 고객별 이력용 인스턴스를 따로 두고, 검색 시 cross-instance search로 둘을 함께 조회한다. 이렇게 하면 에이전트가 과거 해결책을 참고해 같은 실패를 반복하지 않고, 해결이 끝나면 요약을 저장해 다음 대화에서 바로 검색 가능하게 만든다.

새 인스턴스는 built-in storage와 vector index를 함께 제공하므로, 외부 R2 버킷과 별도 Vectorize 인덱스를 직접 엮던 기존 방식보다 단순하다. create()로 인스턴스를 만들고 uploadAndPoll()로 즉시 색인 상태를 확인할 수 있으며, 문서를 업로드한 뒤 바로 검색에 사용할 수 있다.

검색 품질은 여러 옵션으로 조정할 수 있다.

• Tokenizer: porter는 자연어 문서에, trigram은 코드처럼 부분 일치가 중요한 경우에 적합하다.
• Keyword match mode: AND는 모든 검색어를 요구하고, OR는 일부만 맞아도 후보에 넣는다.
• Fusion: rrf는 순위 기반으로 합치고, max는 더 높은 점수를 택한다.
• Reranking: cross-encoder로 쿼리와 문서를 함께 재평가해 최종 정밀도를 높인다.

또한 문서 메타데이터를 검색 시점에 boost할 수 있어, 최신 문서나 중요한 문서를 상단에 올리기 쉽다. 결과적으로 AI Search는 에이전트가 필요한 정보를 제때 찾도록 돕는, 검색과 저장을 함께 품은 인프라로 정리된다.