OpenAI의 RAG 전략 적용하기

OpenAI는 데모 데이에서 특정 고객을 위한 RAG 실험 결과를 공개하며, 어떤 기법이 효과적이었는지 보여줬다. 평가 지표는 애플리케이션에 따라 다르지만, 다양한 검색 기법을 이해하고 적용하는 것이 중요하다. 이는 '일괄 적용'이 불가능하며, 문제 유형에 맞는 최적의 검색 전략이 필요하기 때문이다.

이 기사는 OpenAI가 언급한 방법들을 RAG 스택의 각 단계로 분류하여 설명한다. 먼저 베이스라인으로 벡터 데이터베이스의 거리 기반 검색을 다룬다. 쿼리는 고차원 공간에 임베드되고, 코사인 유사도 등 거리 함수를 기반으로 유사한 문서가 검색된다. LangChain은 60개 이상의 벡터 스토어 통합을 지원하여 이러한 설정을 유연하게 할 수 있게 한다.

다음은 검색 품질을 높이기 위한 쿼리 변환(Query Transformations) 기법이다. OpenAI는 두 가지 주요 방법을 제안했다.

• 쿼리 확장(Query Expansion): LLM을 이용해 사용자 입력에서 다양한 관점의 여러 쿼리를 생성하고, 각 쿼리별 검색 결과의 고유 합집합을 취하는 방식이다.
• HyDE(Hypothetical Document Embeddings): 실제 문서가 아닌 가상의 문서를 생성하여 임베드한 뒤, 이를 이용해 검색하는 기법이다. 질문 자체보다 이 가상 문서가 원본 문서와 더 높은 유사도를 가질 수 있다는 원리다.

이 외에도 추론 작업을 위한 스텝백 프롬프팅(Step-back prompting) 등 상위 개념에 기반한 답변 합성을 돕는 기법들도 함께 소개된다.