AI Briefing인도어 8개를 LoRA로
Curiosity about Chatterbox's architecture led me to fine-tune it for 8 Indian languages by LoRA, using 1.4% params
·2026.04.15 12:13
핵심 내용
Chatterbox-Multilingual에 LoRA와 토크나이저 확장만으로 8개 인도 언어를 얹었다.
자세히 보기
Chatterbox-Multilingual의 T3 Transformer 백본을 살펴본 뒤, LoRA만으로 새 언어를 붙일 수 있는지 실험해 텔루구어, 칸나다어, 벵골어, 타밀어, 말라얄람어, 마라티어, 구자라트어, 힌디어를 튜닝했다.
학습한 파라미터는 7.8M / 544M으로, 전체의 **1.4%**에 불과하다. 토크나이저는 2454 → 2871 토큰으로 확장했고, 인디크 문자 임베딩은 데바나가리의 대응 글자에서 초기화하는 Brahmic warm-start 방식을 썼다.
핵심 아이디어는 TTS도 사실상 트랜스포머 기반 LLM과 비슷하게 다룰 수 있다는 점이다.
- 새 언어 추가 = 부분 미세조정 + 임베딩 확장
- 같은 음가를 가진 문자끼리 임베딩을 공유해 초기화를 안정화
- 모델과 오디오 샘플은 HuggingFace에 공개
베이스 모델은 ResembleAI/chatterbox이며, MIT 라이선스다. 저자는 Chatterbox가 작으면서도 표현력이 좋아 보였지만, 드라비다계 언어와 인도아리아계 언어 일부가 빠져 있어 직접 메꿔보았다고 설명한다.
이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.
