Apple 연구: 데이터 제약 환경에서 bilingual mixing이 하이퍼파라미터 튜닝보다 효과적

대부분의 언어에서 언어 모델 사전 학습은 데이터 제약 환경에서 이루어지며, 학습 데이터를 여러 번 반복해야 해 일반화 성능이 저하된다. 새로운 연구는 공격적인 하이퍼파라미터 튜닝과 고자원 보조 언어 데이터 혼합이라는 두 가지 해결책을 비교했다. 연구 결과, 검증 손실과 다운스트림 작업 정확도 모두에서 bilingual mixing이 하이퍼파라미터 튜닝보다 더 큰 성능 향상을 가져왔다.

주요 발견

이 연구는 150M에서 1.43B 파라미터까지 4가지 모델 규모에서 아랍어를 저자원 타겟 언어로, 영어를 보조 언어로 사용하여 약 1000회의 사전 학습 실행을 통해 두 접근법을 체계적으로 비교했다.

• 우월한 성능: 혼합 방식이 하이퍼파라미터 튜닝보다 우수한 성능을 보이며, 모델 크기가 커질수록 성능 격차는 더 벌어진다.
• 정량화된 향상: 혼합 방식은 검증 손실에서 타겟 데이터 고유량 기준 2~3배에 해당하는 성능 향상을, 다운스트림 작업 정확도에서는 2~13배의 향상을 제공한다.
• 검증 손실의 한계: 타겟 언어 검증 손실은 보조 데이터가 제공하는 새로운 지식이 아닌 정규화 효과만 포착하기 때문에 혼합의 가치를 체계적으로 과소평가한다.

실무 권장 사항

저자들은 데이터 제약 환경에서는 하이퍼파라미터 튜닝보다 혼합 비율을 우선시할 것을 권장한다. 또한 확장성을 효율적으로 처리하기 위해 μP(Maximal Update Parametrization)를 통해 소형 프록시 모델의 하이퍼파라미터를 이전할 것을 제안한다. 이 접근법은 반복된 타겟 코퍼스가 제공할 수 없는 보조 데이터의 학습 신호 다양성을 활용한다.