LlamaIndex 뉴스레터 2024-02-27

LlamaCloud가 지난주 공개되며 LLM과 RAG 애플리케이션을 위한 production-level context enhancement가 본격화됐다. 핵심은 복잡한 문서를 다루는 LlamaParse와, 150개 이상 소스와 40개 이상 스토리지를 연결하는 Managed Ingestion and Retrieval API다. LlamaParse는 현재 PDF 중심의 public preview, API는 일부 엔터프라이즈 파트너 대상 private preview 단계다.

이번 주 하이라이트는 검색·리랭킹·모델 활용을 넓히는 기능들이다.

• Sub-Document Summaries: 계층적 메타데이터를 청크에 넣는 새로운 chunking 방식으로, naive chunking의 한계를 줄이고 더 정확한 RAG retrieval을 노린다.
• MistralAI Cookbook: 최신 mistral-large 모델을 다루는 가이드로, near-GPT-4 수준 reasoning, function calling, JSON output을 지원한다.
• Gemma Cookbook: GoogleDeepMind의 Gemma를 Ollama와 함께 사용해 2B/7B 모델로 로컬 RAG를 구성하는 예시를 제공한다.
• ColBERT Integration: LlamaIndex에서 ColBERT reranking을 한 줄로 붙일 수 있게 했고, BERT 기반 모델보다 약 100x 빠른 처리를 강조한다.
• create-llama: LlamaPacks를 활용해 풀스택 웹앱에 고급 RAG를 두 줄 코드로 연결하는 흐름을 소개한다.

데모 섹션에서는 Trevor Project의 위기 상담사를 돕는 Counselor Copilot이 주목받았다. 실시간으로 문맥, 제안 답변, 후속 액션을 제공해 LGBTQ+ 청소년을 지원하는 상담 업무를 보조하는 사회적 임팩트 사례다.

가이드, 튜토리얼, 웨비나도 함께 묶였다. 복잡한 PDF QA를 포함한 advanced RAG 개발 가이드, React 기반 챗봇 구축, notebook에서 microservices로 이어지는 RAG 개발 여정, RAG pain points 정리, JasperAI와 함께한 production RAG 웨비나까지 실전 자료가 풍부하게 정리됐다.