로컬 LLM의 기반, ggml 라이브러리 입문

ggml은 Transformer 추론에 특화된 C/C++ 기반의 머신러닝 라이브러리입니다. llama.cpp, ollama, LM Studio 등 주요 로컬 LLM 실행 도구들의 기반이 되는 핵심 기술입니다.

주요 장점:

• 미니멀리즘: 핵심 라이브러리가 5개 미만의 파일로 구성되어 매우 가볍습니다.
• 쉬운 컴파일: 별도의 복잡한 빌드 도구 없이 GCC나 Clang만으로 빌드가 가능합니다.
• 경량성 및 효율성: 바이너리 크기가 1MB 미만이며, 메모리 오버헤드가 매우 적습니다.
• 높은 호환성: x86_64, ARM, Apple Silicon, CUDA 등 다양한 하드웨어를 지원합니다.
• 양자화 지원: 텐서 양자화를 통해 메모리 사용량을 줄이고 성능을 최적화할 수 있습니다.

주의 사항:

• 모든 텐서 연산이 모든 백엔드(CPU, CUDA 등)에서 지원되지는 않습니다.
• 저수준 프로그래밍 지식이 필요하며, 활발한 개발 단계로 인해 API 변경이 잦을 수 있습니다.

핵심 개념:

• ggml_context: 텐서, 그래프, 데이터를 담는 컨테이너입니다.
• ggml_cgraph: 백엔드로 전달될 계산 순서를 나타내는 연산 그래프입니다.
• ggml_backend: CPU, CUDA, Metal 등 연산을 실행하는 인터페이스입니다.
• ggml_backend_buffer_type: 각 백엔드에 연결된 메모리 할당자 역할을 합니다.