CUDA+ROCm 동시 구동
Cuda + ROCm simultaneously with -DGGML_BACKEND_DL=ON !
·2026.05.01 07:46
Windows에서 CUDA와 ROCm을 동시에 쓰는 llama.cpp 빌드법을 공유했다.
Windows에서 llama.cpp를 CUDA와 ROCm에 동시에 연결해, Vulkan 없이 모델을 올리는 빌드·실행 절차가 공유됐다.
- CMake에서
GGML_HIP=ON,GGML_CUDA=ON,GGML_BACKEND_DL=ON을 함께 활성화했다. CMAKE_C_COMPILER,CMAKE_CXX_COMPILER,CMAKE_HIP_COMPILER는 ROCm 6.4의clang-cl.exe로 지정했고, CUDA 컴파일러는nvcc.exe를 사용했다.GGML_CPU_ALL_VARIANTS=ON은 컴파일 오류를 일으켜ggml/src/CMakeLists.txt에서alderlakeCPU variant를 주석 처리해야 했다.- Ryzen 5950X 환경에서
MiniMax-M2.7-UD-Q4_K_S를 실행했을 때 63/63개 레이어가 GPU로 오프로드됐고, CUDA 버퍼는 83,650.42 MiB, ROCm 버퍼는 40,314.35 MiB로 표시됐다.
이 요약은 원문 이해를 돕기 위한 큐레이션입니다. 저작권은 원저작자에게 있으며, 정확한 내용과 맥락은 원문을 확인하세요.
요약 오류, 출처 표기 문제, 삭제 요청은 문의 · 건의로 알려주세요.