연구진, '바이트화' 기술로 서브워드 LLM을 저비용 바이트 모델로 변환

바이트화(Byteification) 방법론

연구진이 기존 서브워드 기반 LLM을 무작위 초기화 없이 바이트 수준 모델로 변환하는 '바이트화' 기술을 제안했다. 이 접근법은 세분화된 정보 손실, 프롬프트 편향, 영어 중심성 등 서브워드 토크나이저의 한계를 해결하면서도 신규 바이트 모델 학습의 높은 비용을 피한다. 전체 학습 비용은 일반 사전 학습 예산의 1% 미만인 49.1B 토큰에 불과하다.

아키텍처 및 학습

이 방법은 Latent Tokenizer Language Model (LTLM) 스타일 아키텍처를 사용하며, 바이트 스트림을 패치로 집계해 Transformer로 처리한 후 다시 바이트로 복원한다. 주요 아키텍처 혁신은 다음과 같다:

• 비인과 경계 예측: 기존 LTLM과 달리 경계 예측기가 미래 컨텍스트를 활용해 서브워드 토크나이저의 동작을 모방하며, 서브워드와 잠재 토큰화 간의 표현력 불일치를 해결한다.
• 2단계 학습:
  • 1단계: 글로벌 모델을 동결한 채 로컬 인코더, 디코더, 경계 예측기를 학습해 원본 서브워드 모델의 동작을 모방한다.
  • 2단계: 전체 모델을 엔드투엔드로 학습해 바이트 수준 정보를 활용하고 압축률을 높인다.

성능 및 결과

생성된 모델인 Bolmo 7B (Olmo 3 7B 기반), Bolmo 1B (OLMo 2 1B), Bwen 8B (Qwen3 8B Base)는 기존 바이트 수준 LLM 대비 상당한 성능 향상을 보였다:

• Bolmo 7B는 무작위 초기화된 BLT 7B 대비 STEM 작업에서 절대 성능이 +16.5% 향상되었다.
• Bwen 8B는 Bolmo 7B를 능가하며, 원본 Qwen 모델에 근접하거나 이를 초과하는 성능을 달성했다.
• 바이트화 모델은 기존 바이트 모델로 달성하기 어려웠던 문자 이해 작업에서 서브워드 대응 모델보다 현저히 우수한 성능을 보였다.

생태계 호환성

주요 장점은 기존 서브워드 LLM 생태계 구성 요소를 재사용할 수 있다는 점이다. 적응 기법을 적용하면 원본 모델의 후학습 체크포인트를 바이트화 모델에 병합해 추가 학습 없이 기능을 주입할 수 있어, 반복 시간을 크게 단축한다.