#inference-server

#inference-server와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.

zml/llmd v20261106.0이 142MB Metal과 1.96GB CUDA 추론 이미지를 제공했다

·2026.11.07 07시

RTX 4090에서 초당 491개 질문을 처리하는 오픈소스 LLM 추론 서버가 공개됐다.

·2·2026.10.31 02시

llama.cpp의 llama-server가 reasoning_effort 파라미터를 chat template으로 전달하지 못하는 버그가 보고되었습니다.

·1·2026.08.15 06시

SIE가 임베딩·리랭킹·OCR·LLM을 하나의 OpenAI 호환 API로 통합 서빙한다.

·1·2026.08.12 12시

vLLM 서버의 메트릭을 분석하여 큐 압력, TTFT, KV 캐시 상태 등을 진단하는 CLI 도구입니다.

·2·2026.06.08 18시

llama.cpp 서버가 파일 조작 및 셸 명령 실행을 포함한 네이티브 도구 호출 기능을 지원한다.

·1·2026.05.24 07시

Ollama 취약점이 프롬프트·API 키 유출과 Windows RCE 가능성을 드러냈다.

·1·2026.05.11 14시