minimind: 3달러 GPU로 64M LLM을 0부터 직접 조립하는 교육용 저장소

수백억 파라미터의 거대 모델이 아닌, 64M 규모의 초경량 LLM을 단 2시간 만에 직접 훈련할 수 있는 환경이 마련됐다. NVIDIA 3090 한 장과 약 3달러의 클라우드 비용이면 Pretrain부터 SFT, RLHF까지 전체 파이프라인을 완주할 수 있다. GPT-3의 1/2700 크기로 개인 장비에서도 부담 없이 실험을 반복할 수 있다.

transformers나 trl 같은 고수준 라이브러리에 의존하지 않고, PyTorch 원본 코드로 모든 알고리즘을 구현했다. MoE 구조, LoRA, DPO, PPO, GRPO 등 복잡한 학습 기법들이 어떻게 작동하는지 코드 한 줄 한 줄을 직접 확인하며 이해할 수 있다. 추상화된 인터페이스 뒤에 숨겨진 내부 원리를 파악하려는 개발자에게 최적화된 구조다.

단순 학습을 넘어 llama.cpp, vllm, ollama 등 주요 추론 엔진과 호환되도록 설계됐다. OpenAI API 프로토콜을 지원하는 서버와 Streamlit 기반의 대화 UI가 포함되어 있어, 학습된 모델을 즉시 서비스 형태로 배포하거나 Tool Use 및 Agentic RL 기능을 테스트할 수 있다. Qwen3 생태계와 구조를 정렬해 최신 아키텍처 트렌드를 반영했다.