AI Briefing#vram-optimization
#vram-optimization와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#vram-optimization와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
llama.cpp 대비 생성 속도 4.6배 향상, 12GB VRAM으로 125B MoE 모델 구동
Higgs Audio TTS가 6GB 미만 VRAM으로 구동되며 HTDemucs는 CUDA에서 2.21배 빨라졌다.
Gemma 4 31B 모델의 손실 없는 KV 캐시 절감 기법을 적용한 추론 엔진 'Gewell'이 공개되어 Blackwell GPU 환경에서 VRAM 효율과 처리량을 개선했다.
여러 GPU 활용 앱 간의 VRAM 충돌을 방지하고 작업 순서를 관리하는 Accord GPU가 오픈 베타로 출시되었다.
llama.cpp에서 logits 공간 예약 방식을 개선하여 VRAM 사용량을 절감하는 Pull Request가 제안되었습니다.
llama.cpp가 Flash Attention 사용 시 KQ 마스크를 f16으로 처리하여 VRAM 사용량을 줄이는 업데이트를 반영했다.
llama.cpp에서 Flash Attention 시 f16 마스크를 사용하여 VRAM 사용량을 줄이는 최적화가 이루어졌습니다.