AI Briefing#mixture-of-experts
#mixture-of-experts와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#mixture-of-experts와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
Qwen3.6-35B-A3B 모델을 2비트로 양자화하여 저사양 GPU에서도 구동 가능한 Escha-W2를 공개했다.
문샷 AI가 2.78조 개의 매개변수를 가진 MoE 모델 Kimi K3의 가중치와 기술 문서를 공개했다.
Moonshot AI가 2.8T 파라미터 규모의 오픈 웨이트 멀티모달 모델 Kimi K3를 공개했다.
GigaChat 3.1 Lightning을 기반으로 한 오디오 네이티브 LLM, GigaChat Audio 10B가 공개되었다.
소형 모델 Nanbeige4.2-3B와 대규모 MoE 모델 Laguna S2.1을 통해 에이전트 AI의 두 가지 스케일을 비교한다.
AMD가 새로운 MoE 구조의 오픈 소스 모델인 Instella-MoE-16B-A3B를 Hugging Face에 공개했다.
Poolside의 Co-CEO Eiso Kant가 118B MoE 모델인 Laguna S를 구축한 훈련 인프라와 전략을 설명한다.
Ant Group의 Ling 3.0 Flash 모델이 Vercel AI Gateway에 추가되어 8월 3일까지 무료로 사용 가능하다.
새 옵티마이저 SkewAdam이 MoE 훈련 시 옵티마이저 상태 메모리를 50.6GB에서 1.29GB로 줄여 40GB GPU 한 장으로 6.78B MoE 학습을 가능하게 했다.
InternScience가 파라미터 확장 대신 에이전트 호라이즌 확장으로 1T급 모델에 필적하는 35B MoE 에이전트 모델 Agents-A1을 공개했다.
Poolside의 오픈 웨이트 모델인 Laguna S 2.1이 AI Gateway에 추가되었다.
Moonshot AI가 2.8조 개의 매개변수를 가진 대규모 오픈 웨이트 모델 Kimi K3를 공개했습니다.
독일 연구 컨소시엄이 완전 오픈소스 LLM 벤치마크에서 OLMo 3, Apertus를 능가하는 Soofi S 30B 모델을 공개했다.
LG AI Research가 기존 Dense 모델을 MoE로 변환할 때 전문가 간 중복 문제를 해결하는 'Cluster-Aware Upcycling' 기술을 제안했다.
LG AI연구원이 Dense 모델을 MoE로 변환할 때 전문가의 중복성을 줄이고 전문성을 극대화하는 Cluster-Aware Upcycling 기술을 공개했다.
Thinking Machines가 975B 파라미터의 멀티모달 오픈웨이트 모델 Inkling을 공개했다.
Thinking Machines가 1조 개의 파라미터를 가진 대규모 멀티모달 MoE 모델 Inkling을 공개했다.