연산 최적화된 토큰화

연구진은 약 1,300개 모델을 훈련해 압축을 고려한 neural scaling laws를 다시 계산했다. 핵심 변수는 토큰 수가 아니라 bytes per token이었고, 최적 연산 자원 배분은 정보 밀도에 따라 달라졌다.

기존 Chinchilla의 '파라미터 1개당 약 20 tokens' 경험칙은 특정 subword tokenizer, 특히 Byte-Pair Encoding(BPE) 계열에 묶인 결과로 드러났다. 토큰 수만 세면 토큰 하나가 담는 정보량 차이를 놓치게 되고, 그만큼 스케일링도 왜곡된다.

토큰화는 고정 전처리가 아니라 동적 스케일링 변수다. 최적 compression rate는 연산 예산에 따라 바뀌며, FLOP 예산이 커질수록 더 낮은 압축이 필요했다. 결국 데이터 규모를 bytes 기준으로 맞추는 tokenizer-agnostic scaling law가 다국어·다모달 모델 설계의 기준점을 제시한다.