추천초당 GB 단위 처리하는 gigatoken 공개

대규모 언어 모델(LLM) 학습 시 발생하는 텍스트 토큰화 병목 현상을 해결하기 위해 개발된 gigatoken은 초당 기가바이트(GB/s) 단위의 처리량을 목표로 하는 Rust 기반 토크나이저입니다.

주요 특징은 다음과 같습니다:

• 드롭인 교체(Drop-in Replacement): 기존 HuggingFace tokenizers나 tiktoken 코드를 최소한의 수정만으로 대체하여 사용할 수 있습니다.
• 압도적인 처리량: 벤치마크 결과, GPT-2 토크나이저 기준 HuggingFace 대비 약 989배, Llama 3 기준 약 457배 빠른 성능을 보여주었습니다.
• 최적화된 API: 파이썬 오버헤드를 줄이기 위해 Rust 구현이 데이터를 직접 읽어 병렬성을 극대화하는 전용 API를 제공합니다.
• 호환성 및 라이선스: 다양한 CPU 하드웨어를 지원하며, MIT 라이선스로 공개되어 상업적 이용이 자유롭습니다.

기존 도구들이 MB/s 단위의 성능에 머무는 것과 달리, gigatoken은 대용량 코퍼스 처리 시 전체 파이프라인의 효율을 획기적으로 높일 수 있습니다.