ik_llama.cpp, Ternary Bonsai 2 네이티브 CUDA 오프로드 지원

[Guide] Ternary Bonsai 2 is finally 100% working on ik_llama.cpp (Native CUDA offload + Fast CPU -rtr)

·2026.11.01 00:01

핵심 내용

ik_llama.cpp가 Ternary Bonsai 2의 네이티브 CUDA 오프로드를 지원했다

ik_llama.cpp가 PrismML의 Ternary Bonsai 2에 대한 완전한 네이티브 지원을 제공하여, 다른 포크에서 Hadamard sign tensor 처리로 인한 병목을 제거함
PQ2_0 포맷용 네이티브 CUDA 커널이 PR #2691과 PR #2747을 통해 병합되어, 토큰 손상이나 무거운 k-quants로의 폴백 없이 Nvidia GPU로의 전체 레이어 오프로드가 가능해짐
새로운 스크립트(PR #2694)가 수 초 만에 업스트림 TQ2_0 또는 TQ1_0 가중치를 PQ2_0 포맷으로 손실 없이 리팩킹하여, 재양자화 없이 정확한 trits를 보존함
CPU 추론은 8행 인터리브드 포맷(PQ2_0_R8)과 iqk_mul_mat 커널을 활용하며, -rtr 1 플래그를 전달하면 프롬프트 처리 속도가 크게 향상됨

이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.

AI 처리 방식을 확인하거나, 요약 오류와 출처 표기 문제, 삭제 요청을 문의 · 건의로 알려주세요.