Vyact, 로컬 LLM 통합 워크스페이스 공개

개발자 Vyact가 로컬 LLM과 일상적인 AI 작업을 하나의 앱으로 통합한 오픈소스 데스크톱 워크스페이스 Vyact를 공개했다. 이 도구는 AGPL-3.0 라이선스로 배포되며, 사용자의 파일과 브라우저 컨텍스트를 로컬 모델과 연결하여 작업할 수 있도록 설계됐다.

주요 기능은 다음과 같다:

• 로컬 모델 관리: Hugging Face에서 모델을 검색하고 메모리 요구사항을 추정한 후, 앱 내에서 런타임을 관리한다. Apple Silicon 환경에서는 oMLX를 활용해 MLX 추론을 수행한다.
• 문서 및 웹 연동: 파일 인덱싱과 RAG(검색 증강 생성)를 통해 문서 기반 질의응답이 가능하며, 소스 구문을 확인할 수 있다. 또한 Chrome 확장 프로그램을 통해 웹페이지 내용을 전송하고, Gmail 및 Google Drive 콘텐츠도 워크스페이스 내에서 처리할 수 있다.
• 코딩 및 추론 지원: 코딩 워크플로우를 지원하며, 대화 중에 프롬프트 처리 속도 등 추론 성능 지표를 실시간으로 표시한다.

개발자는 M4 칩 기반 Mac에서 Qwen2.5-7B(4bit) 등을 테스트한 결과, 간단한 HTML 생성에는 적합하지만 대규모 프로젝트의 신뢰성 있는 코딩 작업에는 한계가 있을 수 있다고 명시했다.