AI Briefing#local-llm
#local-llm와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#local-llm와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
Quartermaster 1.7이 /v1/systemone 엔드포인트로 llama.cpp 결정 모델 지원을 추가했다.
Precision Numerics가 1-bit Qwen3 모델 Boole-1.7B를 공개했다.
오픈소스 Project Maya가 GLM-5.3-Flash를 단일 RTX 5090 등에서 로컬 실행한다.
FLE Studio v0.1.0, llama.cpp용 로컬 채팅 인터페이스로 실시간 지표와 모델 관리를 지원한다.
Larmor가 MIT 라이선스로 공개되어 Apple Silicon에서 로컬 모델로 AI 에이전트 음성 제어를 지원한다.
Memoria 1.0.0이 저사양 하드웨어에서 LongMemEval-S Recall@1 89.8%를 달성하며 출시됐다.
OvertChat이 셀프 호스팅 vLLM 배포를 위해 음성 및 에이전트 지원 기능을 통합해 공개했다.
Blockway가 Apache-2.0 라이선스로 하이브리드 아키텍처 기반 Agens Volundr 32B 프리뷰를 공개했다.
Imbue의 Josh Albrecht가 데이터 소유권과 오픈 웨이트 모델로 빅테크 종속을 끊는 'Personal Computing 2.0'을 제안했다.
Magnitude가 하드웨어 맞춤 컴파일로 llama.cpp 대비 최대 2배 빠른 오픈소스 추론 엔진을 출시했다.
WebBrain이 450M 로컬 비전 모델을 탑재한 오픈소스 브라우저 에이전트를 공개했다.
Hugging Face Transformers가 Apple Silicon Mac에서 llama.cpp ggml Metal 커널을 활용해 GGUF 모델을 역양자화 없이 압축 상태로 직접 추론하는 기능을 공개했다.
Cyber-OSINT 모델이 26B 파라미터와 262K 컨텍스트 윈도우를 탑재해 공개됐다.
LLM의 환각과 지연 문제를 해결하기 위해 한 번의 순전파로 확률 분포를 반환하는 Jev 호환 오픈 가중치 모델이다.
Ollaya가 오픈소스 의사결정 모델용 로컬 런타임을 출시해 NVIDIA GPU에서 8~10ms 지연 시간과 TypeSafe SDK 호환성을 제공한다.
API 호출 없이 로컬에서 명령어 허용 여부를 결정하는 Claude Code용 도구 'stuntd'가 공개되었다.
llama.cpp 호환 GGUF 파일을 대상으로 VRAM 제약 환경에서 표준 양자화보다 높은 정확도를 제공하는 오픈소스 동적 양자화 도구 'Dynamic Quantiser'가 공개됐다.
워털루대 연구팀이 영어 텍스트 설명을 로컬에서 실행 가능한 소형 Neural Program으로 컴파일하는 오픈소스 프레임워크 PAW를 공개했다.
VS Code용 로컬 LLM 에이전트 확장 프로그램이 멀티턴 대화와 GitHub 통합 기능을 추가하며 마켓플레이스에 정식 출시됐다.
Rust 기반 도구 llmfit이 로컬 LLM 모델 다운로드 전 하드웨어 스펙으로 생성 속도와 적합도를 추정하는 기능을 공개했다.