GGUF에는 가중치 외에 무엇이 들어 있고, 아직 무엇이 빠져 있나?

GGUF는 llama.cpp에서 사용하는 모델 파일 형식으로, 가중치와 실행에 필요한 메타데이터를 단일 파일에 통합하여 모델 배포와 로딩을 단순화한다.

채팅 템플릿은 Jinja2 스크립트를 통해 대화 구조, 도구 호출, 멀티미디어 메시지 인코딩을 처리한다. 다만, Hugging Face와 llama.cpp 등 구현체마다 Jinja를 처리하는 방식에 차이가 있어 동작이 다를 수 있다.

특수 토큰은 생성 종료를 위한 종료 토큰(EOS), 시작을 위한 BOS, 도구 호출을 위한 토큰 등을 포함하며, 이는 모델의 추론 제어에 필수적이다.

샘플러 설정은 모델의 응답 품질을 결정하는 확률 분포 변환 과정을 담는다. 최근에는 샘플러 체인 순서를 명시할 수 있는 기능이 추가되어 사용자가 권장 설정을 수동으로 복사할 필요가 줄어들었다.

현재 GGUF는 도구 호출 형식의 표준화 미비, think_token 지원 부족, 프로젝션 모델 번들링 및 기능 플래그 부재 등의 한계를 가지고 있어, 멀티모달 구성이나 기능 감지 측면에서 개선이 필요하다.