슬라이드 덱을 위한 멀티모달 RAG

텍스트 중심의 기존 RAG 애플리케이션과 달리, 슬라이드 덱에는 시각적 정보가 다량 포함되어 있어 멀티모달 LLM 활용이 필수적이다. LangChain은 슬라이드 덱 기반 RAG를 구현하는 두 가지 주요 접근법을 제시했다.

첫 번째는 멀티모달 임베딩 방식이다. 슬라이드를 이미지로 추출한 뒤 멀티모달 임베딩 모델로 벡터화하여 관련 슬라이드를 검색한다. 구조가 단순하지만, 시각적으로 유사한 차트나 표를 정확히 검색하는 데 한계가 있을 수 있다.

두 번째는 멀티벡터 리트리버 방식이다. GPT-4V를 활용해 각 슬라이드 이미지를 텍스트로 요약한 뒤, 해당 텍스트를 임베딩하여 검색한다. 텍스트 임베딩 모델의 성숙도를 활용할 수 있어 상세한 설명이 가능하지만, 이미지 요약 과정으로 인한 복잡도와 비용이 증가한다.

LangChain은 이 두 방식의 장단점을 비교하기 위해 공개 벤치마크를 제공하며, 슬라이드 덱용 멀티모달 RAG 앱을 빠르게 구축할 수 있는 템플릿도 함께 공개했다.