AI Briefing#distributed-inference
#distributed-inference와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#distributed-inference와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
M5 Ultra Mac Studio 4대 클러스터로 816B 파라미터 모델 추론 시 초당 36토큰을 달성했다.
Petals 프로젝트가 BitTorrent 방식으로 소비자 GPU에서 Llama 3.1 405B 등 초대형 LLM을 분산 실행할 수 있게 한다.
Shard 프로젝트가 WAN 환경에서 Speculative Decoding 등을 활용해 대규모 모델의 분산 추론 속도를 획기적으로 개선했다.