AI Briefing동결 16 MB 어휘, 소형 LLM에서 학습 임베딩 상회
[Paper] Embeddings Are Overpriced? A Frozen 16 MB Vocabulary for Small and Ternary Language Models
·2026.10.21 22:50
핵심 내용
동결 16 MB 어휘가 학습 임베딩을 상회하며 CPU 추론 속도를 5~6배 높였다
자세히 보기
- 표준 학습 임베딩 테이블을 512비트 코드로 구성된 동결(frozen) 16 MB 어휘로 대체하면 학습 가능 파라미터를 2.6배 줄이면서 LAMBADA, HellaSwag, PIQA 벤치마크에서 성능을 유지하거나 향상시킴
- 동결 테이블은 학습 테이블 대비 검증 손실(validation loss)이 0.20 nat 더 높지만, 희귀 단어에서는 1.7~2.3 nat 우위를 점하며 10,000개의 새 단어를 3%의 비용으로 처리하는 반면 학습 테이블은 43% 성능 저하 발생
- 삼진 BitNet b1.58 바디와 결합하면 전체 모델이 46 MB 파일로 압축되어 노트북 CPU에서 62 MB 메모리로 초당 615~740 토큰 생성
- 해당 CPU 추론 속도는 float 모델의 8-bit GGUF 버전보다 5~6배 빠르고 메모리 사용량은 7분의 1 수준이며, 모든 가중치, 데이터, 평가 답안은 GitHub와 Hugging Face에 공개됨
이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.
