GGUF에는 가중치 외에 무엇이 들어있으며, 무엇이 아직 부족한가?

GGUF는 llama.cpp에서 사용하는 단일 파일 포맷으로, 여러 JSON 파일이 필요한 Hugging Face의 safetensors 방식이나 복잡한 레이어 구조를 가진 Ollama 방식에 비해 관리와 사용이 매우 편리하다.

채팅 템플릿 (Chat Templates) 대화형 모델의 대화 형식을 정의하는 Jinja2 스크립트가 GGUF 메타데이터의 tokenizer.chat_template 키에 저장된다. 이는 단순한 대화를 넘어 도구 호출(tool calling), 추론 블록(reasoning blocks), 멀티미디어 메시지 인코딩 등을 처리하는 데 필수적이다.

현재 Hugging Face, llama.cpp, minijinja 등 다양한 라이브러리가 각기 다른 Jinja2 구현체를 사용하고 있으며, 이는 구현 방식에 따라 성능 차이를 유발할 수 있다.

특수 토큰 (Special Tokens) 모델의 생성 과정을 제어하기 위한 특수 토큰들이 포함된다.

• EOS (End of Sequence): 모델이 생성을 중단하도록 하는 토큰.
• BOS (Beginning of Sequence): 입력 시퀀스의 시작을 알리는 토큰.

이러한 토큰들은 단순한 텍스트 이상의 의미를 가지며, 모델이 문맥을 파악하고 동작을 제어하는 데 중요한 역할을 한다.