AI Briefing#local-llm
#local-llm와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#local-llm와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
Unsloth가 Qwen3.8-27B용 Dynamic V3.1 양자화와 1비트 데이터 타입을 출시했다.
Vellium 1.9.5가 Lite 모드로 12B 로컬 모델에서 비주얼 노벨 실행을 가능하게 했다
Precision Numerics가 BF16 대비 9배 작은 1.8-bit MoE 모델 Boole-32B-A2.5B-Preview를 출시했다.
Accord GPU가 공유 큐로 다중 앱 동시 접근 시 CUDA OOM 크래시를 막았다.
KittenML이 코딩 에이전트를 활용해 로컬 하드웨어 최적 추론 경로를 찾는 inferencekit를 출시했다.
Inflect v3가 Apache 2.0 라이선스로 공개되어 CPU와 CUDA에서 구동되는 34.31M 파라미터 Mini 모델을 제공했다
Unsloth가 Qwen3.8-27B V3.1 GGUF를 출시해 정확도를 5-10% 높였다
30B 모델 용량을 10GB로 줄이고 벤치마크 점수 89.4%를 복원해 24GB 맥북 구동이 가능해졌다.
Terrarium은 AI 에이전트를 로컬 VM에서 격리하여 보안과 성능을 확보했다.
Unsloth가 Qwen3.8-Flash-Next용 GGUF를 출시해 정확도를 10-15% 개선했다.
Apple Silicon 전용 Rust 추론 엔진 uzu가 M5 Max에서 142.3 tok/s 속도를 기록했다.
Prospero는 웹 기반 대안보다 자원을 약 100배 적게 쓰는 C++ 코딩 하니스다.
mlx-decision이 Apple Silicon에서 로컬 추론과 파인튜닝을 지원한다
NVIDIA가 4GB VRAM에서 동작하는 대화형 에이전트용 소형 모델 Nemotron 3.5 Bolt E4B를 공개했다.
816B Muse Spark Open이 39점을 기록하며 40점을 얻은 Qwen3.8-Flash-Next에 근소하게 뒤처졌다
AnyLanguageModel 1.0이 OpenAI, Anthropic, Gemini API와 로컬 모델 지원을 추가했다
Nace.ai가 Apple Silicon용 오픈소스 추론 엔진 Kapitsa를 출시했다.
Blockway가 반복 루프를 제거하고 262K 컨텍스트를 지원하는 MIT 라이선스 추론 엔진을 탑재한 Agens Volundr 32B v1을 출시했다.
LLMxRay가 Ollama 로컬 모델을 위한 프롬프트 캐시 분석 등 관측 기능을 제공하는 오픈소스 도구로 출시됐다.
llama.cpp 대비 생성 속도 4.6배 향상, 12GB VRAM으로 125B MoE 모델 구동
Prism ML이 Ternary Bonsai 2 모델을 공개했으며, 2B 모델은 M4 Max에서 초당 500 토큰을 처리한다.
활성 파라미터 2.45B로 노트북 실행 가능, 도구 호출 성능은 Qwen3.6 대비 우위