#local-llm

#local-llm와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.

Qwen vs Gemma Pac-Man 비교

MacBook Pro M5 Max 테스트에서 Gemma 4 31B가 Pac-Man 생성 품질에서 앞섰다.

·2026.05.01 10시

3090서 Qwen3.6 218K 확장

RTX 3090 한 장에서 Qwen3.6-27B의 218K context와 도구 호출 안정성을 확보했다.

·2·2026.05.01 05시

RTX 5080서 Qwen3.6 128K 30 t/s

RTX 5080 16GB에서 Qwen3.6-35B-A3B가 128K에 30 t/s, 새 토큰 89 t/s를 기록했다.

·1·2026.05.01 05시

Gemma4가 로컬 벤치마크 1위

18GB M3 Pro 벤치에서 Gemma4:e4b가 72%로 1위, Qwen3.5:9b는 68%였다.

·2026.05.01 04시

4070S 12GB 로컬 LLM 속도

RTX 4070S 12GB에서 Qwen3.6·Gemma 4 로컬 추론 속도를 공개했다.

·2026.05.01 00시

Creation OS: 로컬 σ-게이트 LLM

Creation OS가 로컬 LLM의 불확실성을 σ-게이트로 걸러 정확도를 높였다.

·2026.04.30 08시

듀얼 RTX 5060 Ti에서 Qwen3.6 27B, 60 tok/s

듀얼 RTX 5060 Ti 16GB에서 Qwen3.6 27B가 약 60 tok/s로 돌아갔다.

·2026.04.29 17시

M2 맥북프로 32GB Qwen 27B

M2 MacBook Pro 32GB RAM에서 Qwen 3.6 27B의 처리 속도가 52,000토큰 컨텍스트에서 4t/s로 급락했다.

·2026.04.29 06시

로컬 우선 AI 에이전트 'Thoth' 공개

개인의 데이터 주권을 강조하는 로컬 우선 AI 에이전트 Thoth가 공개되었다.

·1·2026.04.29 04시

로컬 LLM·하네스 벤치마크

로컬 LLM 17종과 에이전트 하네스 5종의 벤치마크 결과를 공개했다.

·1·2026.04.29 01시

Mac Metal 커널 해커톤

OpenAI Codex로 Mac Metal 커널을 최적화하는 해커톤 참가가 열렸다.

·1·2026.04.28 23시

Qwen3.6 35B 속도 테스트

단일 H100에서 Qwen3.6 35B가 250~400tok/s를 기록했다.

·2·2026.04.28 11시

로컬 LLM 관측 도구 'Torrix' 공개

로컬 LLM의 요청, 응답, 지연 시간 등을 모니터링할 수 있는 셀프 호스팅 관측 도구 Torrix가 출시되었다.

·2026.04.27 22시

AMD GPU용 추론 엔진 Hipfire 공개

AMD GPU 전반에 최적화된 새로운 추론 엔진 Hipfire와 mq4 양자화 방식이 공개되었습니다.

·2026.04.27 10시

llama.cpp, DeepSeek v4 Flash 지원

llama.cpp에서 DeepSeek v4 Flash의 실험적 추론 지원이 공개됐다.

·2026.04.26 19시

RTX 5090서 100 tps

Qwen3.6-27B-INT4가 1x RTX 5090에서 256k 컨텍스트와 105~108 tps를 기록했다.

·1·2026.04.26 17시

M5 Pro 64GB서 Qwen 비교

M5 Pro 64GB에서 Qwen 3.6 35B A3B가 27B보다 더 빠르고 정확했다.

·1·2026.04.26 04시

RTX 5090 24GB에서 100t/s

24GB RTX 5090 Laptop GPU에서 Qwen3.6-27B를 85~100 t/s로 구동했다.

·2026.04.26 02시

Qwen3.6 큰 quant가 더 빠르다

3070 8GB 환경에서 Qwen3.6-35B는 더 큰 quant가 더 높은 속도를 냈다.

·2026.04.25 06시

Nemotron-3 GGUF 공개

Max-and-Omnis가 Nemotron-3-Super-64B-A12B-Math-REAP의 GGUF 파일을 공개했다.

·2026.04.24 17시

Qwen 3.6 27B 로컬 20 TPS

m720q i7·64GB RAM·T1000 8GB 조합에서 Qwen 3.6 27B가 20 TPS를 기록했다.

·2·2026.04.24 16시

로컬 LLM VSCode

llama.cpp와 VSCode 연동으로 Gemma-4-26B-A4B-IT-Q8_0를 돌린 설정과 성능이 공개됐다.

·2026.04.23 20시

Qwen 3.6 저비용 코딩

dual 3090에서 Qwen3.6을 Claude Code에 붙여 8시간 추정 비용을 $142에서 $4 미만으로 낮췄다.

·1·2026.04.23 09시

Gemma4, 편집은 1위

RTX 5090에서 Gemma4와 Qwen 3.5/3.6를 같은 문서 작성 작업으로 비교했다.

·2·2026.04.23 09시