VRAM.cpp, 브라우저 VRAM 추정

GGUF 모델이 특정 시스템에서 실행 가능한지를 추정하는 VRAM.cpp가 공개됐다.

핵심은 llama.cpp의 fit 알고리즘을 브라우저에서 직접 돌려, 모델의 레이어와 텐서를 어떤 장치에 배치할지 계산하게 한 점이다. 덕분에 기존의 대략적인 VRAM 계산기보다 더 정확한 추정을 노린다.

• 대상: 다양한 GGUF 모델과 양자화 변형
• 효과: “내 GPU/호스트 메모리 조합에서 이 모델이 돌아가는가”를 빠르게 확인
• 장점: llama.cpp가 지원 범위를 넓히면 추정기도 함께 최신화됨

다만 작성자는 멀티 GPU + 호스트 메모리 분할에서 이상 동작이 있고, MoE fitting도 아직 불안정하다고 밝혔다. 일부 백엔드 변형은 추가로 반영해야 한다고 덧붙였다.