LLM 위키

기존의 RAG(Retrieval-Augmented Generation) 방식은 질문 시점에 관련 문서를 검색해 답변을 생성하므로, 매번 지식을 처음부터 재발견해야 하며 정보의 축적이 이루어지지 않는다.

LLM 위키는 LLM이 문서를 읽고 핵심 정보를 추출하여 구조화된 마크다운(Markdown) 파일로 관리하는 방식이다. 새로운 소스가 추가될 때마다 LLM은 기존 위키를 업데이트하고, 엔티티 페이지를 수정하며, 정보 간의 모순을 식별한다. 이를 통해 지식은 매번 재도출되는 것이 아니라 지속적으로 **축적(Compounding)**된다.

시스템은 세 가지 계층으로 구성된다:

• Raw sources: 수정되지 않는 원본 문서 데이터.
• The wiki: LLM이 생성하고 관리하는 마크다운 파일 디렉토리.
• The schema: 위키의 구조와 워크플로우를 정의하는 설정 문서.

사용자는 소싱과 질문에 집중하고, LLM은 요약, 교차 참조, 기록 등 번거로운 작업을 수행한다. 사용자가 Obsidian을 IDE처럼 활용하면, LLM은 프로그래머처럼 위키라는 코드베이스를 관리하며 개인 연구, 독서, 비즈니스 지식 관리 등 다양한 분야에서 강력한 지식 베이스를 구축할 수 있다.