Gigatoken (GitHub 저장소)

Gigatoken은 언어 모델 학습용 데이터 전처리에 특화된 초고속 토크나이저로, pip install gigatoken으로 설치할 수 있다. HuggingFace Tokenizers 및 Tiktoken과의 호환 모드를 지원해 기존 코드를 최소한으로 수정하고 바로 적용 가능하다.

벤치마크 결과, Apple M4 Max(16코어)에서 8,327 MB/s, AMD EPYC 9565(144코어)에서 24,532 MB/s 처리 속도를 기록했다. EPYC 기준으로 HuggingFace 대비 989배 빠르며, 이 속도라면 Common Crawl 전체(약 130조 토큰)를 6.5시간 안에 토크나이징할 수 있다.

속도 향상의 핵심은 두 가지다:

• 사전 토크나이징(pretokenization) 단계에서 SIMD 등을 활용해 정규식 엔진 의존을 제거
• 프리토큰 캐싱 최적화로 동일 단어 반복 처리 시 오버헤드 최소화

Rust로 구현된 멀티스레드 백엔드가 파일을 직접 읽는 네이티브 API(encode_files)를 사용하면 최대 성능을 발휘하며, 호환 모드에서도 기존 대비 훨씬 빠른 속도를 제공한다. x86 및 ARM 기반 현대 CPU 모두에서 일관된 성능을 보인다.