웹을 파일 시스템으로 변환하기

AI 에이전트의 코드 할루시네이션은 모델 자체의 문제보다 데이터의 문제에서 기인한다. API의 잦은 변경과 엔드포인트 폐기 등 최신 정보를 학습 데이터가 따라가지 못하기 때문이다.

기존의 RAG 방식은 문서를 조각(chunk)으로 나누어 검색하므로, 정보가 여러 페이지에 걸쳐 있거나 정확한 함수 시그니처가 필요한 경우 전체 맥락을 파악하는 데 한계가 있다.

이를 해결하기 위해 웹 문서를 마치 Unix 파일 시스템처럼 다루는 방식을 제안한다. 에이전트가 grep, cat, ls 같은 명령어를 사용해 문서를 직접 브라우징하게 만드는 것이다. 에이전트는 이미 수많은 Unix 상호작용 데이터를 학습했기에 별도의 도구 학습 없이도 바로 활용할 수 있다.

nia-docs는 특정 URL을 입력하면 해당 사이트를 크롤링하여 파일 시스템으로 마운트해주는 도구다.

• 인덱싱: llms.txt를 준수하고 OpenAPI 스펙을 감지하며, 복잡한 URL 구조를 정규화하여 직관적인 파일 경로로 변환한다.
• 서빙: 파일 읽기, 디렉토리 목록 확인, 정규식 검색(grep) 등의 작업을 API 엔드포인트를 통해 제공하며, 모든 응답은 gzip으로 압축되어 효율적이다.

이 방식은 매번 JSON 스키마를 정의해야 하는 MCP보다 범용적이며, 에이전트가 문서의 전체 맥락을 파악하며 작업할 수 있도록 돕는다.