ggml: 의존성 없는 C/C++ 텐서 라이브러리, 2~8bit 양자화 지원

기계 학습용 텐서 연산을 처리하는 저층 라이브러리다. 외부 의존성 없이 순수 C/C++로 작성되어 최소한의 설정만으로 빌드와 실행이 가능하다. 런타임 중 메모리 할당이 전혀 발생하지 않아 예측 가능한 성능을 제공한다.

x86, ARM, RISC-V, LoongArch, PowerPC, s390x, WebAssembly까지 폭넓은 아키텍처를 지원한다. x86, ARM, RISC-V 환경에서는 SIMD 최적화 커널을 통해 연산 효율을 높인다. CPU, GPU, NPU, 브라우저 등 다양한 백엔드에서도 동작하도록 설계되었다.

2~8bit 정수 양자화 외에도 MXFP4와 NVFP4 마이크로스케일링 포맷을 지원한다. 이를 통해 모델 크기를 줄이면서도 추론 성능을 유지할 수 있다. GGUF 파일 포맷을 기반으로 하며, llama.cpp 프로젝트의 핵심 구성 요소로 활용된다.

MIT 라이선스로 공개되어 있어 상용 및 비상용 프로젝트에 자유롭게 적용할 수 있다. 복잡한 프레임워크 대신 경량화된 텐서 연산이 필요한 환경, 특히 임베디드 디바이스나 엣지 컴퓨팅 상황에서 적합하다. 코어 라이브러리 변경은 llama.cpp 저장소를 통해 PR을 여는 것이 권장된다.