#gpu-offloading와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
Ollama의 기본 컨텍스트 길이, 병렬 요청 수, 상주 모델 제한 설정이 메모리 사용량을 급증시켜 GPU 오프로드 실패의 주된 원인이 된다.
듀얼 RTX 5060 Ti에서 Qwen 3.6-35B-A3B가 90K 컨텍스트 21.7 tok/s를 기록했다.
AI Briefing