embeddings 없이 지식 에이전트 만들기

Vercel Sandbox, AI SDK, Chat SDK를 묶어 embeddings 없이 동작하는 knowledge agent 템플릿을 공개했다. 핵심은 벡터 DB, chunking, embedding model 대신 파일시스템과 bash를 검색의 기본 도구로 쓰는 방식이다.

기존 방식은 질문에 대해 어떤 chunk가 왜 선택됐는지 설명하기 어렵고, 잘못된 답을 내도 원인을 추적하기 힘들다. 반면 이 접근은 grep, find, cat 같은 명령으로 실제 파일을 읽고 검색하므로, 답이 틀리면 trace에서 어떤 파일을 어떤 명령으로 확인했는지 바로 볼 수 있다.

Vercel 내부 사례로는 파일시스템 + bash 기반 에이전트로 바꾼 뒤 콜당 비용이 약 $1.00에서 $0.25로 감소했고, 출력 품질도 개선됐다. 디버깅도 빠르다. 잘못된 답이 나오면 검색 경로와 읽은 파일을 확인해 파일이나 검색 전략을 고치면 된다.

동작 방식은 다음과 같다.

• 관리 화면에서 소스를 추가하면 데이터는 Postgres에 저장된다.
• 콘텐츠는 Vercel Workflow를 통해 snapshot repository로 동기화된다.
• 검색이 필요하면 Vercel Sandbox가 snapshot을 불러온다.
• 에이전트의 bash와 bash_batch 도구가 파일시스템 명령을 실행한다.
• 최종 답변은 필요하면 참고 링크와 함께 반환된다.

이 템플릿은 GitHub와 Discord adapter를 기본 제공하고, Chat SDK로 Slack, Microsoft Teams, Google Chat 등 다른 플랫폼에도 같은 에이전트를 연결할 수 있다. 플랫폼별 인증, 이벤트 형식, 메시징은 adapter가 처리하고, 에이전트 로직은 그대로 유지된다.

또한 @savoir/sdk는 AI SDK 기반 앱을 지식 저장소에 연결하는 도구를 제공한다. 여기에 complexity router가 포함돼 질문 난이도에 따라 모델을 자동 분기하고, 관리자 화면에서는 사용량 통계, error log, user management, source configuration, sync control까지 한 번에 다룰 수 있다. AI-powered admin agent도 있어 "최근 24시간 오류"나 "자주 묻는 질문" 같은 운영 질문을 내부 도구(query_stats, query_errors, run_sql, chart)로 직접 답한다.