AI Briefing#moe
#moe와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#moe와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
카카오가 MoE 구조를 적용해 활성 파라미터 3B로 Dense 8B 모델과 대등한 성능을 달성한 'Kanana-1.5-15.7B-A3B'를 오픈소스로 공개했다.
Meta의 차세대 MoE 모델인 Llama 4 Maverick과 Scout가 Hugging Face에 출시되었다.
Alibaba가 20조 개 이상의 토큰을 학습한 대규모 MoE 모델 Qwen2.5-Max를 공개했다.
마이크로 배치 대신 글로벌 배치 단위의 로드 밸런싱을 적용해 MoE 모델의 성능과 전문가 특화 능력을 크게 향상시켰다.
Qwen1.5-MoE-A2.7B는 활성화 파라미터를 1/3로 줄이면서도 7B 모델 수준의 성능을 구현했다.
Mistral AI의 새로운 MoE 모델 Mixtral 8x7b가 공개되었으며, GPT-3.5를 능가하는 성능을 보여준다.
네이버클라우드가 NVIDIA Nemotron 연합에 합류해 HyperCLOVA X 고도화와 소버린 AI 확보를 위한 협력을 시작한다.