AI Briefing#ollama
#ollama와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#ollama와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
Accord GPU가 공유 큐로 다중 앱 동시 접근 시 CUDA OOM 크래시를 막았다.
LLMxRay가 Ollama 로컬 모델을 위한 프롬프트 캐시 분석 등 관측 기능을 제공하는 오픈소스 도구로 출시됐다.
Nitric 팀이 인간과 AI 에이전트가 협업하는 오픈소스 플랫폼 Sugabots를 공개했다.
llama.cpp, vLLM, SGLang 등 주요 오픈소스 추론 스택의 기능과 적합 워크로드를 비교 분석했다.
VS Code용 로컬 LLM 에이전트 확장 프로그램이 멀티턴 대화와 GitHub 통합 기능을 추가하며 마켓플레이스에 정식 출시됐다.
NVIDIA가 여러 로컬 컴퓨터를 연결해 AI 추론 요청을 분배하는 오픈소스 도구 'PAIR'를 공개했다.
Ollama와 하이브리드 인덱싱을 활용해 로컬 문서에 대한 RAG를 수행하는 CLI 도구 'raggy'가 공개됐다.
Ollama Cloud의 9월 1일 요금제 변경으로 신규 가입자 및 전환 사용자의 실질 비용이 최대 6.7배 증가했다.
Ollama의 기본 컨텍스트 길이, 병렬 요청 수, 상주 모델 제한 설정이 메모리 사용량을 급증시켜 GPU 오프로드 실패의 주된 원인이 된다.
로컬 Ollama 모델을 활용해 구독료 없이 실행 가능한 오픈소스 코딩 에이전트 OpenClaude가 공개되었다.
Ollama와 연동하여 VRAM 사용을 최소화하며 고속 문서 파싱을 지원하는 로컬 메모리 엔진 Hillock v0.4가 출시되었습니다.
여러 GPU 활용 앱 간의 VRAM 충돌을 방지하고 작업 순서를 관리하는 Accord GPU가 오픈 베타로 출시되었다.
NVIDIA가 로컬 AI 커뮤니티와 함께 오픈 모델·에이전트 생태계 확장을 추진한다.
Ollama, Open WebUI, n8n 등 다양한 AI 도구를 한 번에 설치해 주는 오픈소스 스택 ODS가 공개되었다.
로컬 LLM을 활용해 텍스트에서 개념 간 관계를 추출하고 지식 그래프를 구축하는 오픈소스 프로젝트가 공개되었습니다.
NuMind의 오픈웨이트 4B VLM NuExtract3가 Ollama에 공식 배포되어 로컬 문서 구조화 추출이 가능해졌다.
여러 대의 머신에서 실행되는 Ollama 인스턴스 간의 효율적인 라우팅과 관리를 지원하는 오픈소스 도구 Stoke가 출시되었습니다.
오픈 모델 실행 플랫폼 Ollama가 8,800만 달러 규모의 시리즈 A 투자를 유치했다.