#llama-server
#llama-server와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#llama-server와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
llama server v0.7.0 기본 포트 변경으로 기존 8080 설정 사용자의 호환성이 깨졌다
Qwen3.6-35B-A3B 모델에 MTP를 적용하여 llama-server에서 약 1.49배의 디코딩 속도 향상을 달성했다.
AMD Strix Halo에서 Mistral Medium 3.5는 48k 프롬프트 처리에 약 2시간이 걸렸다.
Qwen3.6-27B는 27B dense 모델로 이전 초대형 MoE 플래그십을 뛰어넘는 코딩 성능을 내세운다.
RTX 4060 8GB VRAM에서 Qwen3.6-35B-A3B를 llama-server로 돌리는 설정과 thinking 예산 함정을 공유했다.