로컬 AI 서버 구축을 위한 오픈소스 스택 ODS 공개

ODS(Osmantic Deployment System)는 개별적으로 설치해야 했던 Ollama, Open WebUI, n8n, ComfyUI 등 다양한 AI 도구들을 단 한 줄의 스크립트로 통합 설치해 주는 오픈소스 프로젝트입니다.

설치 시 다음과 같은 기능을 포함한 통합 환경을 구축합니다:

• 채팅 및 추론: Open WebUI, llama-server, LiteLLM(하이브리드 모드 지원), TEI 임베딩 서비스
• 음성 및 에이전트: Whisper(음성 인식), Kokoro(음성 합성), Hermes Agent, n8n(워크플로 자동화)
• 지식 및 검색: Qdrant(벡터 DB), SearXNG(웹 검색), Perplexica(리서치 엔진)
• 생성 및 운영: ComfyUI(이미지 생성), Privacy Shield, GPU 상태 및 모델 관리를 위한 대시보드

하드웨어 자동 감지 기능을 통해 사용자의 GPU 메모리 용량에 최적화된 GGUF 모델을 자동으로 선택하며, Linux, macOS, Windows 환경을 모두 지원합니다. 또한, GPU가 없는 환경에서도 클라우드 API를 활용해 구동할 수 있는 옵션을 제공합니다.