AI Briefing#mixture-of-experts
#mixture-of-experts와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#mixture-of-experts와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
카카오가 MoE 구조를 적용해 활성 파라미터 3B로 Dense 8B 모델과 대등한 성능을 달성한 'Kanana-1.5-15.7B-A3B'를 오픈소스로 공개했다.
마이크로 배치 대신 글로벌 배치 단위의 로드 밸런싱을 적용해 MoE 모델의 성능과 전문가 특화 능력을 크게 향상시켰다.
Qwen1.5-MoE-A2.7B는 활성화 파라미터를 1/3로 줄이면서도 7B 모델 수준의 성능을 구현했다.
xAI가 3140억 개의 파라미터를 가진 MoE 모델 Grok-1의 가중치와 아키텍처를 Apache 2.0 라이선스로 공개했다.
Mistral AI의 새로운 MoE 모델 Mixtral 8x7b가 공개되었으며, GPT-3.5를 능가하는 성능을 보여준다.