AI Briefing#tensor-parallelism
#tensor-parallelism와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#tensor-parallelism와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
NVIDIA가 vLLM로 두 대의 DGX Station에서 GLM-5.3 NVFP4 서빙 가이드를 공개했다.
NVIDIA B200 환경에서 GLM-5.2를 NVFP4 및 TP=4 설정을 통해 최적화하여 성능을 극대화하는 방법
Amazon EC2 G5/G6 인스턴스에서 GPU Tensor Parallelism을 활용해 대규모 LLM 서빙 비용을 절감하는 방법을 소개한다.
llama.cpp b9095 업데이트로 Blackwell PCIe GPU에서 NCCL 없이 텐서 병렬 처리가 가능해졌다.
DP, FSDP, TP 등 주요 분산 학습 기법을 밑바닥부터 구현한 PyTorch 교육용 저장소가 공개되었습니다.
RNGD 두 장으로 GPT-OSS 120B를 5.8ms TPOT와 저전력으로 서빙했다.
SDK 2025.3로 RNGD가 Llama 3.3 70B에서 처리량 3배, TTFT 35% 개선.
Hugging Face의 Accelerate 라이브러리가 다양한 병렬화 전략을 조합해 효율적인 멀티 GPU 학습을 지원하는 ND-Parallel 기능을 출시했다.