다국어 특화 Aya Expanse 모델 출시

Cohere For AI가 다국어 모델의 성능 격차를 해소하기 위해 개발한 Aya Expanse 제품군(8B, 32B)을 오픈 웨이트로 출시했다.

Aya Expanse 32B는 Arena-Hard-Auto 다국어 평가에서 Gemma 2 27B, Mistral 8x22B, Llama 3.1 70B를 능가하며 새로운 SOTA(State-of-the-Art)를 기록했다. Aya Expanse 8B 역시 Gemma 2 9B, Llama 3.1 8B 등 동급 모델 대비 60.4%~70.6%의 높은 승률을 보였다.

주요 기술적 혁신은 다음과 같다:

• Data Arbitrage: 단일 교사 모델에 의존하는 대신, 여러 모델 풀에서 전략적으로 샘플링하여 고품질의 다국어 합성 데이터를 생성함으로써 모델 붕괴(Model Collapse)를 방지한다.
• Multilingual Preference Training: 다국어 환경에 최적화된 선호도 학습을 적용했다.
• Model Merging & Safety Tuning: 모델 병합 및 안전성 튜닝을 통해 성능과 안정성을 동시에 확보했다.