VocabX, 베이스 모델 변경 없이 SLM 추론 비용 77% 절감

• VocabX는 빈도 대신 토큰 비용을 기준으로 SLM 어휘를 특화시켜, 베이스 모델 변경 없이 Qwen3-4B 포르투갈어 에세이 채점기에서 측정된 추론 비용을 77.0% 절감함
• 도메인 특화 스팬이 분절되고 미사용 어휘 항목에 점수를 매겨야 하는 토크나이저 비효율 문제를 해결하며, 테스트 환경에서 디코드 연산이 프리필보다 7.4배 더 높은 비용을 발생시킴
• VocabX는 5개 공개 도메인과 3개 모델 계열(Qwen3, Llama-3.1, Gemma-3)의 15개 조합 전체에서 Fast Vocabulary Transfer, Multi-Word Tokenization, Liquid AI 인플레이스 BPE를 능가하며, Qwen3에서 평균 10.2점, Llama-3.1에서 7.5점, Gemma-3에서 13.6점의 비용 우위를 달성함
• 결정적 토큰과 매크로 토큰을 분리하여 비용을 줄이는 동시에 품질도 개선되어, 채점기 벤치 점수가 0.703에서 0.810으로 상승함

Methodology

• 이중 계층 최적화를 통해 서브워드 분절을 재구성하고, 반복되는 스팬에 대해 별도 예산을 가진 공유 비용 기준으로 매크로 토큰을 생성함
• 5개의 자동 마이너가 반복 스팬을 식별하며, 8개 코퍼스 전체에서 평균적으로 구두점/구조 마이너가 가장 큰 기여를 함
• 희소 후보를 통계적으로 추정하여 손실을 방지하며, 계약서 코퍼스에서 토큰 감소율을 44.7%에서 52.8%로 높임

Results and Scope

• 채점기 사례에서 평균 응답 길이가 350토큰에서 101토큰으로 줄었고, 출력 레이어 행이 약 152,000개에서 65,000개로 감소함
• 계약서 도메인에서 프루닝된 VocabX는 207,803개 항목으로 61.8% 감소율을 보인 최적 인플레이스 BPE 구성 대비 113,426개 항목으로 62.6%의 토큰 감소율을 달성함
• 7.4배의 읽기/쓰기 비용 비율은 측정된 하드웨어와 배치 컨텍스트에 한정되며, 해당 방법은 모델 지능을 향상시키지 않고 불필요한 계산만 줄임