AI Briefing#moe
#moe와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#moe와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
JetBrains가 12B 규모의 Mixture-of-Experts(MoE) 모델인 Mellum2를 공개했다.
NVIDIA가 Alibaba의 Qwen3.6-35B 모델을 NVFP4 데이터 타입으로 양자화하여 공개했다.
Liquid AI가 38T 토큰으로 학습하고 추론 능력을 강화한 온디바이스용 8B-A1B MoE 모델을 공개했다.
MiniMax가 새로운 sparse attention 메커니즘을 도입해 long-context 응답 속도를 15.6배 높인 M3 모델을 예고했다.
Cohere가 기업 및 공공 부문의 데이터 주권을 보장하는 오픈소스 MoE 모델인 Command A+를 공개했다.
분산 트레이닝 효율을 높이기 위해 CPU 개입을 단계적으로 제거하는 GPU 간 고속 통신 기술의 발전 과정을 다룬다.
OpenAI Triton을 활용해 NVIDIA와 AMD 모두 지원하는 고성능 MoE 추론 커널을 개발했다.
Triton으로 구현된 Fused MoE dispatch 커널이 Megablocks 대비 높은 효율과 AMD 호환성을 제공한다.
Cohere의 218B MoE 모델인 Command A+를 Apple Silicon에서 구동할 수 있는 MLX 포트가 구현되었습니다.
DeepSeek는 단순 모델 판매를 넘어 10조 달러 규모의 중국 AI 하드웨어 생태계를 구축하려는 거대 전략을 추진 중이다.
llama.cpp에 MTP speculative decoding이 추가돼 Qwen3.6 27B 속도가 최대 2.44배 빨라졌다.
Ai2가 EMO를 공개해 MoE의 일부 전문가만으로도 성능을 거의 유지할 수 있음을 보였다.
MoE 모델용 혼합 정밀도 양자화 전략인 APEX가 30종 이상의 모델로 확대되고 새로운 초압축 티어를 출시했다.
RTX 3090에서 Qwen 3.6 35B MoE를 262K context로 돌리는 재현 가능한 세팅을 공개했다.