데이터 제약 환경에서의 다국어 지식 전이를 위한 어휘 개입

데이터가 부족한 언어의 LLM 성능을 높이기 위해서는 고자원 언어(주로 영어)로부터의 크로스링구얼 지식 전이가 필수적이다. 기존 방법들은 대량의 병렬 데이터나 번역 시스템, 추가적인 학습 단계가 필요하여 저자원 언어에 적용하기 어려웠다.

Apple 연구팀은 이러한 문제를 해결하기 위해 LINK라는 데이터 레벨 개입 기법을 제안했다. LINK는 사전 학습 데이터의 영어 부분에서 무작위로 선택된 단어들을 이중어 어휘를 이용해 해당 언어의 단어로 치환하는 방식이다.

이 방법은 추가적인 모델 학습이나 복잡한 파이프라인 없이 이중어 어휘만 있으면 적용 가능하며, 거의 비용이 들지 않는다. 8개 언어와 5가지 모델 규모에 대한 평가 결과, 대상 언어의 다운스트림 태스크 성능이 눈에 띄게 향상되었다.

특히 동등한 성능을 달성하는 데 걸리는 학습 시간이 최대 2배 단축되는 효과가 확인되었다. 이는 데이터 제약이 있는 언어의 AI 모델 개발 비용을 크게 줄이는 데 기여할 것으로 보인다.