AI Briefing#gpu-inference
#gpu-inference와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#gpu-inference와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
Tandem-vLLM 0.2.0이 하드웨어 지원을 확대하고 단일 RTX PRO 6000에서 75.5 tok/s를 달성했다
Specter가 양자화 기반 추측적 오프로딩으로 MoE 추론 속도를 1.50배 높였다
오픈소스 Project Maya가 GLM-5.3-Flash를 단일 RTX 5090 등에서 로컬 실행한다.
g7e.2xlarge 인스턴스 전환으로 생성 속도 3~5배 향상, 신규 사용자 대기 시간 57.5% 단축
Netflix가 hosted API 대신 자체 LLM 서빙 인프라를 구축해 모델 배포부터 추론까지 전체 스택을 직접 운영한다.
llama.cpp에 MTP speculative decoding이 추가돼 Qwen3.6 27B 속도가 최대 2.44배 빨라졌다.
듀얼 RTX 5060 Ti 16GB에서 Qwen3.6 27B가 약 60 tok/s로 돌아갔다.
Wasm 메모리를 GPU와 공유해 Apple Silicon에서 추론을 제로카피로 돌린다.
광고 랭킹 모델의 표현력을 높이기 위해 기존 Two-Tower 구조를 탈피하고 GPU 기반의 새로운 서빙 아키텍처를 구축했다.