테이블, 텍스트, 이미지를 위한 RAG 멀티벡터 리트리버

LangChain 팀은 이미지, 텍스트, 테이블 등 다양한 데이터 유형에 걸쳐 무결성 있는 질의응답을 제공하는 것이 RAG의 핵심 과제라고 밝혔다. 이를 위해 혼합 콘텐츠 유형 문서를 위한 멀티벡터 리트리버를 활용하는 세 가지 새로운 쿡북을 공개했다.

이 쿡북들은 멀티모달 LLM을 멀티벡터 리트리버와 결합하여 이미지 기반 RAG를 활성화하는 방법도 함께 제시한다. 제공되는 예제는 다음과 같다.

• 반구조화 데이터(테이블 + 텍스트) RAG
• 멀티모달(텍스트 + 테이블 + 이미지) RAG
• 프라이빗 멀티모달(텍스트 + 테이블 + 이미지) RAG

LLM은 가중치 업데이트(파인튜닝)와 RAG를 통해 새로운 정보를 습득할 수 있다. RAG는 LLM의 추론 능력과 외부 데이터 소스의 내용을 결합하여, 특히 기업 데이터의 사실 기반 회상(factual recall)에 강점을 가진다.

기존 RAG 개선 기법으로는 요약 임베딩, 윈도우링, 메타데이터 필터링, 임베딩 파인튜닝, 2단계 RAG 등이 있다. 그러나 반구조화 데이터와 멀티모달 데이터를 포함한 문서에 대한 RAG는 여전히 도전적인 영역으로 남아 있다.