AI Briefing#llm-inference
#llm-inference와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#llm-inference와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
llama.cpp 최적화로 초안 생성 최대 140배 빨라지고 메모리 2.6배 감소했다.
vLLM이 H100에서 네이티브 대비 3.4% 이내 성능을 유지하며 다양한 가속기를 지원하는 하드웨어 독립적 계층을 도입했다.
vLLM의 rope_scaling 덮어쓰기 버그로 GSM8K 점수가 최대 28% 하락하는 현상을 검증하고 방지하는 오픈소스 도구 entail을 공개했다.
TextCLF가 캘리브레이션 불필요한 TQ 양자화 기법과 오픈소스 Quant Factory를 공개했다.
Underdog이 MLX보다 모든 측정 항목에서 빠르고, 특히 편집 작업에서 최대 4.5배의 성능을 내는 모델 특화 추론 엔진 'Husky'를 공개했다.
Inco AI가 모델별 전용 커널과 초안 모델을 적용한 Apple Silicon 추론 엔진 Splash를 공개했다.
llama.cpp, vLLM, SGLang 등 주요 오픈소스 추론 스택의 기능과 적합 워크로드를 비교 분석했다.
AI 에이전트가 GPU 성능 데이터를 직접 읽고 최적화 루프를 수행할 수 있는 오픈소스 프로파일러 GraphSignal이 공개됐다.
인텔이 OpenVINO 2026.4를 공개하며 Gemma 4, Qwen 3.5/3.6 등 최신 모델 지원과 Multi-Token Prediction 추론 가속 기능을 추가했다.
외부 의존성 없이 Gemma 1/2/3의 텍스트 및 이미지 추론을 수행하는 단일 파일 C 기반 추론 엔진이 공개됐다.
Edge0가 SSD 전문가 스트리밍 기술로 35B MoE 모델을 3GiB 메모리로 실행하는 추론 프레임워크를 공개했다.
Micron이 Hot Chips 2026에서 연산과 메모리 대역폭의 격차를 분석하고, Samsung의 LPDDR5X PIM 기술로 Llama 3.1 8B 추론 속도가 3.01배 향상된 사례를 공개했다.
LLMTraceFX가 캐시 히트의 신뢰성을 검증하는 독립 오디터를 도입해 연산 생략 여부에 대한 증거 기준을 제시했다.
NVIDIA가 여러 로컬 컴퓨터를 연결해 AI 추론 요청을 분배하는 오픈소스 도구 'PAIR'를 공개했다.
RTK의 토큰 절감 지표와 실제 비용 측정 결과가 상이하며, 최신 모델에서는 비용 절감 효과가 미미하거나 오히려 증가하는 것으로 나타났다.
Nvidia가 Pi 에이전트의 토큰 사용량과 지연 시간을 줄이는 4가지 메커니즘을 담은 확장 프로그램 SoL-Pi를 공개했다.
실제 에이전트 워크로드 시뮬레이션에서 LRU를 능가하는 KV 캐시 정책이 없음을 입증한 연구 결과가 발표됐다.
Salesforce가 추론 모델의 KV 캐시 eviction을 위해 신호 기반이 아닌 무작위 샘플링을 적용한 Random Attention을 공개했다.
NInfer 포크가 NVFP4 KV 캐시와 YARN 확장을 통해 RTX 5090에서 555k 토큰 컨텍스트를 지원한다.
Rust 기반 CPU 전용 LLM 추론 프레임워크 eLLM이 베타 공개되어, 긴 추론 작업에서 GPU보다 빠른 성능을 제공한다고 밝혔다.
Cerebras가 GPT OSS와 Qwen 3.8 모델을 공개 엔드포인트에서 제공하며, 모든 모델은 원본 상태의 비프닝(non-pruned) 버전임을 명시했다.
ik_llama.cpp가 Qwen3.8-Flash-Next의 MTP 기능을 공식 병합하여 RTX 5090 환경에서 추론 속도가 약 2배 빨라졌다.