쿼리 의존적 청킹 (Query Dependent Chunking)

기존 RAG 시스템은 단일 청크 크기를 미리 결정하여 사용한다. 작은 청크는 세부 정보를 잘 보존하지만 문맥이 부족하고, 큰 청크는 문맥은 풍부하지만 구체적인 사실이 희석되는 트레이드오프가 발생한다.

연구 결과, 동일한 코퍼스라도 쿼리의 성격에 따라 최적의 청크 크기가 달라진다는 사실이 밝혀졌다. 즉, 모든 쿼리에 통용되는 단일한 '스위트 스팟(sweet spot)'은 존재하지 않는다.

이를 해결하기 위해 동일한 데이터를 여러 가지 청크 크기(예: 100, 200, 500 토큰)로 인덱싱하고, **RRF(Reciprocal Rank Fusion)**를 통해 결과를 결합하는 방식을 제안한다. 이 방식은 모델을 재학습시키거나 LLM을 사용해 별도의 문맥을 생성할 필요가 없어 효율적이다.

실험 결과, 이 접근법은 다양한 벤치마크에서 검색 성능을 1~37% 향상시켰다. 또한 오라클 실험을 통해 쿼리별로 최적의 청크 크기를 선택할 경우 20~40%의 추가 성능 향상 여지가 있음을 확인했다.