Nature, 49.1B 토큰으로 LLM을 바이트 레벨로 변환

Nature에 게재된 'byteification' 기법은 49.1B 토큰을 사용해 서브워드 언어 모델을 바이트 레벨로 변환하며, 이는 전형적인 사전학습 예산의 1% 미만임
Olmo 3 7B에서 파생된 Bolmo 7B는 BLT 7B 베이스라인 대비 STEM 과제에서 16.5% 절대적 성능 향상을 보였으며, 일반 벤치마크 성능은 기존 서브워드 모델과 유사하게 유지됨
변환 과정은 전역 모델을 동결한 9.8B 토큰의 1단계와 39.3B 토큰의 2단계로 구성됨
해당 기법은 Olmo 3 7B, OLMo 2 1B, Qwen3 8B Base, Llama 3 8B 등 4개의 오픈 모델에 적용되어 각각 Bolmo 7B, Bolmo 1B, Bwen 8B, Blama 8B로 생성됨
기술적 구현은 미래 컨텍스트 1바이트를 활용한 비인과적 경계 예측을 사용하며, 경계 기호와 바이트를 융합하여 바이트 어휘를 256에서 512로 2배 확장함
파라미터 수는 최소한으로 변경되어 Bolmo 7B는 4.5% 증가하고 Bolmo 1B는 0.7% 감소함
생성된 모델은 실용적인 추론 속도를 유지하고 기존 서빙 스택과 호환되며, 코드와 생물학적 시퀀스 같은 과학 데이터에서 서브워드 토큰화가 미세한 정보를 가리는 문제를 해결함

핵심 내용