#inference-engine

#inference-engine와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.

mistral.rs가 Gemma 4 12B를 지원하며 멀티모달 및 에이전트 기능을 도입했다.

·2026.06.04 20시

mistral.rs v0.8.2가 출시되어 H100 및 B200 등 최신 GPU에서 llama.cpp보다 최대 2.8배 빠른 CUDA 추론 성능을 제공한다.

·1·2026.06.01 23시

Apple Silicon을 위한 오픈 소스 로컬 추론 엔진 Conifer가 베타 테스터를 모집하며 공개되었다.

·2026.05.26 07시

vLLM에서 Qwen3.5 Vision 모델의 템플릿 오류가 수정되었습니다.

·2026.05.15 19시

ds4.c는 DeepSeek V4 Flash 전용 Metal 추론 엔진과 서버를 소개했다.

·2·2026.05.08 09시

TokenSpeed가 B200 기반 에이전트용 LLM 추론 벤치에서 TensorRT-LLM을 앞섰다.

·2026.05.07 09시

Rust와 CUDA 기반의 고성능 추론 엔진 Atlas가 오픈 소스로 공개되었다.

·2026.05.07 05시

Apple Silicon에서 MTP 헤드를 활용해 LLM 추론 속도를 최대 2.24배 높이는 MTPLX 엔진이 공개되었다.

·2·2026.05.05 09시

HFQ4 prefill에 opt-in MMQ를 붙여 Strix Halo 속도가 3배 이상 빨라졌다.

·1·2026.04.28 14시

AMD GPU 전반에 최적화된 새로운 추론 엔진 Hipfire와 mq4 양자화 방식이 공개되었습니다.

·2026.04.27 10시

에이전틱 에이전트의 다중 턴·툴 호출 패턴에 맞춘 새 벤치마크와 하네스를 공개했다.

·1·2026.04.23 09시

LM Studio의 새로운 CLI와 Gemma 4를 활용해 Claude Code를 로컬 환경에서 실행하는 방법을 안내한다.

·2026.04.07 02시

Cloudflare Workers AI가 Kimi K2.5를 올려 256k 컨텍스트·툴콜링을 지원한다.

·1·2026.03.20 04시

HuggingFace가 Transformers 라이브러리를 AI 생태계 전반의 모델 정의 표준으로 구축하겠다는 로드맵을 발표했다.

·1·2025.05.15 09시