AI Briefing#inference
#inference와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#inference와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
Qwen3.5 기반의 오픈소스 의사결정 모델 Kev 시리즈가 공개되어 TypeSafe API 호환성과 세부 성능 지표를 제공한다.
도구 스키마를 사전 필터링해 프롬프트 토큰을 92% 줄이는 오픈소스 라이브러리 tool-prune이 공개됐다.
로컬 LLM의 전력당 지능 효율성(IPW)이 3년간 5.3배 향상되어 상당한 서브셋의 쿼리에 대해 중앙 인프라 수요를 분산할 수 있음을 보여준 연구 결과가 발표됐다.
11개 LLM의 불연속성 실험과 제이코비안 렌즈로 생성 중단을 제어하는 오픈 웨이트 모델 PCCG-Qwen3-4B가 공개됐다.
HP가 NVIDIA GB300 Grace Blackwell Ultra 슈퍼칩과 748GB 통합 메모리를 탑재한 기업용 AI 추론 워크스테이션 ZGX Fury의 주문을 시작했다.
Hugging Face가 브라우저 내 AI 추론 성능을 높이기 위해 207개의 최적화된 WebGPU 커널과 로더 라이브러리를 공개했다.
Artificial Analysis가 Liquid AI와 협력해 iPhone 17 Pro 기준 8GB 이하 소형 LLM의 지능 및 추론 속도를 측정한 벤치마크를 공개했다.
1.2억 파라미터 오픈소스 TTS Sopro V2가 SOTA급 음성 복원 성능을 내며 CPU에서도 고속 추론이 가능해졌다.
Applied Compute가 자체 연구진이 사용하던 AI 모델 훈련 및 배포 플랫폼 AC2를 공개했다.
NVIDIA Kimodo 모션 생성 모델을 PyTorch 없이 C++/GGML로 구현한 kimodo.cpp가 공개되어 로컬 추론 환경이 간소화된다.
FreeToken이 게이밍 PC 수준 하드웨어에서 프론티어급 MoE 모델을 효율적으로 서빙하는 시스템을 제안했다.
NVIDIA Vera Rubin NVL72가 AI 에이전트 워크로드에서 기존 대비 30배 높은 처리량과 35배 낮은 토큰 비용을 달성했다.
Qwen3-TTS를 최적화해 단일 H100에서 50ms 미만 지연과 10 RPS 처리 성능을 달성했다.
Escha Labs가 Qwen3.8-27B의 2bit 양자화 모델을 공개하며 FP8 대비 동등한 성능을 입증했다.
SyzygyResearch가 7GB 용량의 Mach-1-Additive-35B 모델과 전용 llama.cpp 포크를 공개했다.
LMSys가 H20 GPU에서 DeepSeek-V4-Pro 서빙 성능을 극대화하는 최적화 전략을 공개했다.
AI 추론 특화 칩 개발사 Etched가 1개월 만에 밸류에이션이 2배 이상 뛰며 7억 달러를 조달했다.
vLLM의 비표준 KV 캐시 구조가 Cerebras 등 이기종 하드웨어 간 추론 연동을 방해한다고 지적됨.