unsloth: VRAM 70% 절감, 2배 빠른 로컬 LLM 학습

Unsloth는 로컬 환경에서 AI 모델을 실행하고 학습하며 배포까지 처리하는 통합 데스크톱 애플리케이션이다. LLM, 디퓨전, 임베딩, 오디오 모델 등 다양한 유형의 모델을 지원하며 Kimi K3, Qwen3.8, DeepSeek-V4, Gemma 4 등 최신 모델들을 직접 다루는 것이 가능하다. CPU, Apple, NVIDIA, AMD, Intel 및 멀티 GPU 환경까지 폭넓은 하드웨어 호환성을 제공한다.

모델 학습 시 기존 방식보다 2배 빠르게 진행되며 VRAM 사용량은 70%까지 절감된다. 이 과정에서 정확도 손실 없이 LoRA, QLoRA, 완전 미세 조정, 강화 학습, GRPO, DPO, FP8 등 다양한 학습 기법을 지원한다. 학습된 모델은 GGUF, NVFP4, FP8 포맷으로 내보내거나 배포할 수 있어 다양한 환경에서 활용이 용이하다.

Claude Code, Codex, MCP 등 외부 에이전트와 도구를 로컬 모델에 연결하는 기능을 제공한다. 'unsloth start' 명령어 하나로 에이전트를 로컬 모델에 연동할 수 있으며, OpenAI 호환 API를 통해 모델 서비스를 외부에 제공할 수도 있다. 또한 PDF, CSV, DOCX 파일로부터 데이터셋을 생성하는 Data Recipes 기능을 통해 RAG 및 웹 검색 작업도 수행할 수 있다.

Tauri 기반의 네이티브 데스크톱 앱, 웹 기반 UI인 Studio, 코드 기반 Core 세 가지 형태로 사용할 수 있다. 특히 Studio는 Windows, Linux, macOS에서 모두 동작하며, Cloudflare 터널을 통해 안전한 HTTPS 원격 접근이 지원된다. 로컬에서 AI 모델을 직접 제어하고 학습 파이프라인을 구축하려는 개발자에게 적합하다.