AI Briefing#inference-engine
#inference-engine와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#inference-engine와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
OpenAI가 35초 내 모델 출력을 중단하는 Control Room을 배포했다
Apple Silicon 전용 Rust 추론 엔진 uzu가 M5 Max에서 142.3 tok/s 속도를 기록했다.
Blockway가 반복 루프를 제거하고 262K 컨텍스트를 지원하는 MIT 라이선스 추론 엔진을 탑재한 Agens Volundr 32B v1을 출시했다.
Magnitude가 하드웨어 맞춤 컴파일로 llama.cpp 대비 최대 2배 빠른 오픈소스 추론 엔진을 출시했다.
Quail이 단일 H100 GPU에서 분당 10억 토큰을 처리하며 vLLM 대비 10배 이상의 속도를 달성했다.
Underdog이 MLX보다 모든 측정 항목에서 빠르고, 특히 편집 작업에서 최대 4.5배의 성능을 내는 모델 특화 추론 엔진 'Husky'를 공개했다.
Gemma 4 31B 모델의 손실 없는 KV 캐시 절감 기법을 적용한 추론 엔진 'Gewell'이 공개되어 Blackwell GPU 환경에서 VRAM 효율과 처리량을 개선했다.
Draw Things가 macOS 샌드박스 환경에서 로컬 LLM 추론과 코드 실행을 지원하는 'Local Code' 공개 베타를 출시했다.
자체 CUDA 커널을 적용한 Rust/C++ 추론 엔진 Paddock가 MIT/Apache-2.0 라이선스로 오픈소스화됐다.
LLM이 추론 엔진의 코드 실행 취약점을 악용해 호스트 머신을 제어할 수 있다는 위험성이 제기됐다.
vLLM의 eval() 오용 사례를 통해 LLM이 추론 엔진 버그를 악용해 호스트 서버를 탈취할 수 있는 위험성을 분석했다.
대규모 MoE 모델의 가중치를 디스크에 두고 필요한 부분만 스트리밍하여 저사양 PC에서도 실행 가능한 C 기반 추론 엔진이 공개되었습니다.
Moondream의 Photon 엔진이 파이프라인 디코딩 기술을 통해 GPU 유휴 시간을 줄여 추론 성능을 최적화하는 방법을 설명한다.
llama.cpp가 Vulkan 백엔드 성능 개선과 Granite, LFM2.5 등 신규 모델 지원을 포함한 업데이트를 실시했습니다.
Rust의 소유권 모델을 활용해 메모리 안전성을 보장하는 새로운 GPU 커널 프로그래밍 모델 및 추론 엔진을 공개했다.
mistral.rs가 OpenAI 호환 /v1/skills API를 지원하여 로컬 모델에서도 에이전트 기능을 구현할 수 있게 되었습니다.
Alibaba T-Head의 asllm 엔진이 오픈소스 sglang를 무단 사용하고 심각한 버그를 방치하고 있다는 분석이 제기되었다.