#inference

#inference와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.

llama.cpp v1.0.0, 3년 반 만에 첫 메이저 릴리스

llama.cpp가 v1.0.0을 출시하며 C API 호환성 기준의 시맨틱 버전 정책을 적용했다.

·2·2026.11.14 13시

ggml v1.0.0 출시, FP8 지원 및 백엔드 최적화 포함

ggml v1.0.0이 FP8 지원과 백엔드 최적화를 포함해 출시했다.

·2·2026.11.14 11시

Tontaube V1.1, 데스크톱 CPU 실시간 구동 및 Fish Audio S2 Pro 블라인드 테스트 우위

Tontaube V1.1은 RTX 5090에서 13배 실시간 속도를 달성했다

·2·2026.11.14 02시

NVIDIA, vLLM 기반 듀얼 DGX Station에서 GLM-5.3 NVFP4 서빙 가이드 공개

NVIDIA가 vLLM로 두 대의 DGX Station에서 GLM-5.3 NVFP4 서빙 가이드를 공개했다.

·2026.11.14 02시

llama.cpp v1.0.0, 안정적 API와 150+ 모델 아키텍처 지원

llama.cpp v1.0.0이 안정적 API와 150개 이상 모델 아키텍처를 지원하며 출시했다.

·2·2026.11.13 23시

MACaQ, 커스텀 vLLM 커널로 저비트 KLD 낮추고 추론 속도 유지

MACaQ가 커스텀 vLLM 커널로 저비트 KLD를 낮추고 추론 속도를 유지했다

·2·2026.11.13 21시

DeepSeek V4 KV-cache 압축, 특정 토큰 위상에서 결정론적 검색 실패 유발

DeepSeek V4 KV-cache 압축이 토큰 위상별 결정론적 검색 실패를 유발했다.

·1·2026.11.13 16시

리커, Apple의 로컬 AI 실행 앱 'Harbor' 증거 공개

리커 Aaron Perris가 Apple의 로컬 AI 앱 Harbor의 증거를 공개했다

·2026.11.11 04시

llama.cpp, 멀티 드라이브 모델 샤드 로딩 기능 추가

llama.cpp가 멀티 드라이브 샤드 로딩과 외부 PLE 파일 지원을 추가했다

·2026.11.10 16시

clap.cpp, C++/GGML 오디오 임베딩 추론 지원

clap.cpp가 C++/GGML 기반 오디오 임베딩 추론을 지원한다

·2026.11.10 13시

TVM과 Together Compiler, 에이전트 기반 커널 최적화 및 검증의 상이한 경로 탐색

TVM과 Together Compiler는 AI 에이전트 최적화 시 안정적 IR과 검증 도구의 필요성을 입증했다.

·2026.11.10 09시

NVIDIA, 한국 주요 오픈 모델용 Dynamo 레시피 공개

NVIDIA가 한국 주요 오픈 모델을 위한 Dynamo 레시피를 공개했다.

·2026.11.09 14시

DeepSeek V4.1 Flash 1017 Ultrafast, AI Gateway에서 초당 1,000토큰 이상 속도로 출시

DeepSeek V4.1 Flash 1017 Ultrafast가 1초당 1,000토큰 이상 속도로 공개 프리뷰 출시했다

·2·2026.11.07 09시

NVIDIA Vera Rubin NVL72, 에이전틱 처리량 대비 비용 효율 30배 향상

NVIDIA가 Vera Rubin NVL72로 에이전틱 처리량 대비 비용 효율을 30배 높였다

·1·2026.11.06 01시

LlamaParse, SaaS부터 에어갭 온프레미스까지 유연한 배포 옵션 제공

LlamaParse는 SaaS부터 에어갭 온프레미스까지 5가지 배포 옵션을 제공한다

·1·2026.11.05 09시

Gradium Phonon TTS, 28ms 지연 온디바이스 음성 합성

Gradium의 Phonon TTS가 Hugging Face CPU 스트리밍 벤치마크 1위를 차지했다.

·2026.11.05 09시

ReQAT, 4비트 양자화로 BF16 정확도 동등 수준 달성

ReQAT가 4비트 양자화로 BF16 정확도 동등 수준을 달성했다.

·1·2026.11.05 07시

Sipeed MaixStation, Axera AX8860P로 256 TOPS 추론 성능 구현

Sipeed MaixStation이 256 TOPS Axera AX8860P 칩을 탑재했다

·2·2026.11.04 23시

DGX Spark, DSpark 적용 시 Nemotron 3.5 Lightning 생성 속도 1.7배 향상

NVIDIA가 DGX Spark에서 DSpark 적용 시 Nemotron 3.5 Lightning 생성 속도가 최대 1.73배 빨라진다고 밝혔다.

·1·2026.11.04 19시

Olla v0.1.0, Hugging Face TEI 지원 및 페일오버 개선

Olla v0.1.0이 Hugging Face TEI 지원과 개선된 페일오버 기능을 추가했다.

·1·2026.11.03 20시

WiCi, Wi-Fi 7 기반 무선 GPU 시스템 'WiCi One' 공개

WiCi One은 2,599달러부터 시작하는 무선 GPU 시스템으로 Wi-Fi 7을 활용해 로컬 AI 추론을 지원한다

·2·2026.11.01 10시

libstrix Docker 이미지, Strix Halo에서 Qwen3.8-Flash-Next 40+ tok/s 디코드 지원

libstrix Docker 이미지로 Strix Halo에서 Qwen3.8-Flash-Next 디코드 40+ tok/s 달성했다

·2·2026.10.31 06시

Mistral Large 4, 1T MoE 모델로 1M 컨텍스트 및 82% 보안 점수 달성

Mistral Large 4가 1M 컨텍스트와 82% 사이버 보안 점수를 기록하며 공개됐다

·1·2026.10.29 09시

Ubicloud, vLLM constrained decoding으로 tool-call 정확도 100% 달성

Ubicloud가 vLLM constrained decoding 활성화로 tool-call 정확도를 100%로 높였다

·2026.10.26 21시