Zig 기반 고성능 토크나이저 'ztok' 공개
ztok — a fast multithreaded tokenizer in Zig that loads tiktoken / HF / SentencePiece and is 2–5× faster
·2026.05.22 17:49
기존 tiktoken 및 Hugging Face 토크나이저보다 2~5배 빠른 Zig 기반 멀티스레드 토크나이저 ztok이 출시되었습니다.
Zig 언어로 구현된 ztok은 로컬 AI 파이프라인을 위해 설계된 고성능, 포맷 불가지론적(format-agnostic) 토크나이저 라이브러리입니다.
주요 특징:
- 광범위한 호환성:
.tiktoken, Hugging Facetokenizer.json, SentencePiece.model, TokenMonster, Mistral Tekken 등을 자동으로 감지하고 로드합니다. - 높은 성능: 동일한 어휘집 기준, tiktoken 대비 싱글 스레드에서 약 2배, 배치 처리 시 3.8~5.5배 빠른 속도를 제공합니다.
- 드롭인 교체 가능: 기존 tiktoken, HF, SentencePiece와 비트 단위로 동일한 결과를 보장하여 즉시 교체하여 사용할 수 있습니다.
- 다양한 언어 지원: C ABI를 통해 Python, Node, Rust, Go, Java, .NET, Swift, Ruby 등 8개 언어 바인딩을 지원합니다.
- 실용적 활용: RAG(검색 증강 생성)를 위한 토큰 제한 윈도우 처리 및 데이터셋 토큰화 작업에 최적화되어 있습니다.
이 프로젝트는 AGPL-3.0 라이선스로 배포됩니다.
이 요약은 원문 이해를 돕기 위한 큐레이션입니다. 저작권은 원저작자에게 있으며, 정확한 내용과 맥락은 원문을 확인하세요.
요약 오류, 출처 표기 문제, 삭제 요청은 문의 · 건의로 알려주세요.