RAG를 활용한 대화형 AI

기업용 GenAI 애플리케이션의 핵심은 출력물의 사실성과 품질이다. **RAG(Retrieval-Augmented Generation)**는 기업의 프라이빗 데이터를 기반으로 질의에 답변할 수 있는 가장 가치 있는 전략 중 하나다.

단순한 단답형 질의응답을 넘어 확장성을 갖추려면, RAG에 멀티턴(multi-turn) 대화 기능과 동적 계획(dynamic planning) 전략을 결합해야 한다. 이를 통해 내부 연구 도구나 고객용 챗봇과 같은 신뢰할 수 있는 업무 파트너를 구현할 수 있다.

대화형 RAG는 compound AI system 구조를 채택한다. Execution Engine이 들어오는 질의를 평가하여, LLM의 자체 지식으로 답변할지 아니면 RAG Engine을 통해 정보를 검색할지 결정한다.

AI21은 이를 위한 완전 관리형 서비스를 제공한다. 사용자가 PDF, TXT, DOCX, markdown 형식의 문서를 업로드하면, 시스템이 자동으로 최적의 방식으로 인덱싱을 수행한다. 본문에서는 Amazon의 10-K 보고서를 활용해 금융 분석 어시스턴트를 구축하는 과정을 예시로 설명한다.