AI BriefingCOUNT: 호스트 메모리 기반 학습 없는 n-gram 적응
[Paper] The COUNT: Counting N-grams Unlocks Scaling on Host Memory and Training-Free Adaptation
·2026.10.20 23:10
핵심 내용
COUNT가 호스트 메모리 n-gram 카운트로 학습 없이 도메인 적응을 가능하게 한다
자세히 보기
- COUNT(Counting Offline Unlocks N-gram Transformers)는 학습된 파라미터를 추가하지 않고 호스트 메모리에 사전 계산된 n-gram 카운트를 저장하여 n-gram 임베딩을 구성함
- 고정된 컴퓨트 예산에서 1B 파라미터 LM 사전학습 시 COUNT를 입력 임베딩으로 추가하면, 컴퓨트를 57% 더 사용한 LM과 동일한 수준의 검증 손실 개선 효과 달성
- GPU 메모리가 제한된 환경에서 COUNT를 사용해 백본 파라미터가 GPU 메모리를 가득 채우도록 하면, 추가 학습된 n-gram 임베딩으로 메모리를 분할하는 것보다 성능이 우수함
- 추론 시 도메인 특화 코퍼스에서 추출한 n-gram 카운트 테이블로 교체하여 학습 없이 새로운 작업에 적응 가능
이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.