AI Briefingllama.cpp, DeepSeek v4 Flash 지원
llama.cpp DeepSeek v4 Flash experimental inference
·2026.04.26 19:20
핵심 내용
llama.cpp에서 DeepSeek v4 Flash의 실험적 추론 지원이 공개됐다.
자세히 보기
DeepSeek v4를 llama.cpp에서 돌릴 수 있는 실험적 지원이 공개됐다.
공개된 GGUF 모델은 약 128GB RAM으로 추론 가능하며, 작성자는 MacBook M3 Max에서 초당 17토큰 수준을 확인했다고 밝혔다.
양자화 방식은 다음처럼 적용됐다.
- 라우팅된 expert 가중치는 2bit로 강하게 양자화
- 서로 다른 2bit quant를 섞어 오류와 크기를 균형 조정
- 각 레이어의 shared expert는 Q8 유지
작성자는 2bit 양자화 상태에서도 응답 품질이 꽤 좋았다고 적었지만, Qwen 3.6 27B보다 강할 가능성은 아직 추가 실험과 벤치마크가 필요하다고 덧붙였다.
이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.
