AI Briefing#llm-inference
#llm-inference와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#llm-inference와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
QuietBox 2는 Ryzen 7 9700X와 Blackhole 카드 2장, 총 128GB VRAM을 탑재했다.
RTX 5090 Llama.cpp 실험에서 MiniMax-M2.7은 100k context에도 22 tps 처리, 3~4 tps 생성에 그쳤다.
DeepInfra가 Hugging Face의 Inference Provider에 추가됐다.
CPU 기반 LLM 추론 프레임워크 eLLM이 공개되어 긴 컨텍스트 작업에서 GPU 대비 높은 성능을 제공한다.
RNGD는 최신 SDK로 15kW 랙당 사용자 수를 RTX Pro 6000의 최대 2배로 끌어올렸다.
KV 헤드 수를 유지하며 쿼리 헤드를 확장해 추론 효율을 높인 Differential Transformer V2가 공개되었습니다.
llama.cpp 서버에 여러 모델을 재시작 없이 동적으로 로드 및 교체할 수 있는 라우터 모드가 추가되었다.
Intel Xeon 6 기반 Google Cloud C4 VM이 GPT OSS 추론 시 TCO를 1.7배 개선했다.