AI Briefing#cuda
#cuda와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#cuda와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
llama.cpp의 새로운 CUDA 커널이 추측적 디코딩 속도를 최대 34.9%까지 높였다.
OpenBMB 에이전트가 B200에서 FlashMLA 대비 9.8% 성능 향상을 달성했다
Berth v0.4.1이 CUDA 워크로드 라이브 스왑을 지원하며 NVIDIA Linux를 중심으로 알파 공개했다
ik_llama.cpp가 Ternary Bonsai 2의 네이티브 CUDA 오프로드를 지원했다
llama.cpp CUDA 최적화로 DGX Spark에서 최대 17.2% 속도 향상이 확인됐다.
llama.cpp의 GDN chunked kernel 도입으로 Qwen 추론 속도가 최대 20.6% 향상됐다.
rGPU는 로컬 앱으로 원격 NVIDIA GPU 연산을 실행하는 오픈소스 PyTorch 도구다.
NVIDIA Vera Rubin NVL72가 GB300 대비 메가와트당 처리량 30배 이상을 달성했다.
ZLUDA를 기반으로 Windows용으로 컴파일된 CUDA 호환 빌드가 공유되었으며, 초기 평가에 따르면 네이티브 대비 약 3% 느린 성능을 보인다.
NVIDIA Cosmos3 64B 모델의 INT4 양자화 버전이 CUDA와 MLX용으로 공개되어 로컬 실행이 가능해졌다.
Cohere가 North Mini Code 모델용 Megakernel serving 엔진을 공개해 H100 단일 BF16 환경에서 vLLM 대비 최대 1.41배의 end-to-end 추론 속도 향상을 달성했다.
자체 CUDA 커널을 적용한 Rust/C++ 추론 엔진 Paddock가 MIT/Apache-2.0 라이선스로 오픈소스화됐다.
Nvidia가 RISC-V 서버 CPU에서 CUDA를 구동하기 위한 하드웨어 요구사항을 공개했다.
Cursor가 NVL72용 오픈소스 MoE 메가커널을 공개하고 처리량을 최대 2.37배 높였다.
llama.cpp의 CUDA 커널 최적화를 통해 Bonsai 모델의 추론 속도를 약 5% 향상시켰습니다.
Spectral Compute가 CUDA 의존성을 탈피하기 위한 새로운 기술적 대안을 제시하며 시장 공략에 나섰다.
SGLang은 복잡한 LLM 및 Diffusion 워크플로우를 자동화하기 위해 에이전트용 실행 가능한 스킬(SKILL.md)을 도입하고 있다.
Nvidia GPU 없이도 CUDA 애플리케이션을 실행할 수 있게 돕는 Zluda 6가 출시되었습니다.