#expert-offload와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
Tandem-vLLM 0.2.0이 하드웨어 지원을 확대하고 단일 RTX PRO 6000에서 75.5 tok/s를 달성했다