AI Briefing#vram
#vram와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#vram와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
Accord GPU가 공유 큐로 다중 앱 동시 접근 시 CUDA OOM 크래시를 막았다.
Ollama의 기본 컨텍스트 길이, 병렬 요청 수, 상주 모델 제한 설정이 메모리 사용량을 급증시켜 GPU 오프로드 실패의 주된 원인이 된다.
새 옵티마이저 SkewAdam이 MoE 훈련 시 옵티마이저 상태 메모리를 50.6GB에서 1.29GB로 줄여 40GB GPU 한 장으로 6.78B MoE 학습을 가능하게 했다.
인텔이 최대 480GB VRAM을 갖춘 차세대 AI 워크로드용 GPU 'Crescent Island'를 공개했다.
OWC가 Windows와 Linux PC에서 대형 AI 모델을 로컬 실행할 수 있는 Thunderbolt 5 장치를 발표했다.
Hugging Face 사용자 데이터를 분석한 결과, AI 빌더들은 연산 성능보다 VRAM 용량을 중시하는 경향을 보였다.
RTX 4060 8GB VRAM에서 Qwen3.6-35B-A3B를 llama-server로 돌리는 설정과 thinking 예산 함정을 공유했다.