AI Briefing#multi-gpu
#multi-gpu와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#multi-gpu와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
llama.cpp가 멀티 GPU 환경에서 --sm tensor 사용 시 KV 캐시 양자화가 작동하지 않던 문제를 해결했습니다.
llama.cpp에서 멀티 GPU 사용 시 발생하는 Split Mode Tensor의 VRAM 고갈 및 충돌 문제를 해결하는 패치가 준비 중이다.