Transformers v5 토크나이저 구조 개편

Transformers v5는 토크나이저의 작동 방식을 근본적으로 재설계하여 더 단순하고 명확한 구조를 제공한다.

가장 핵심적인 변화는 **토크나이저 설계(Architecture)**와 **학습된 어휘(Trained Vocabulary)**를 분리한 것이다. 이는 PyTorch가 신경망 구조와 학습된 가중치를 분리하는 방식과 유사하며, 이를 통해 사용자는 토크나이저를 더 쉽게 검사, 커스텀 및 처음부터 학습할 수 있다.

토큰화 파이프라인은 다음과 같은 단계로 구성된다:

• Normalizer: 텍스트 표준화 (소문자화, 유니코드 정규화 등)
• Pre-tokenizer: 텍스트를 예비 청크로 분할
• Model: BPE, Unigram 등 토큰화 알고리즘 적용
• Post-processor: 특수 토큰(BOS, EOS, Padding) 추가
• Decoder: 토큰을 다시 텍스트로 변환

이번 개편을 통해 기존의 '블랙박스' 같았던 토크나이저를 벗어나, 더 명확한 클래스 계층 구조와 단일화된 고속 백엔드를 활용할 수 있게 되었다.