#moe

#moe와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.

Mac Mini M4 Pro 70 t/s

Mac Mini M4 Pro 64GB에서 14B dense 모델은 16.2 t/s, Qwen3.6 35B NVFP4는 69.8 t/s를 기록했다.

·2026.05.03 14시

Qwen-Scope 공식 SAE 공개

Qwen이 Qwen 3.5와 Qwen3용 공식 Sparse Autoencoders를 공개했다.

·1·2026.04.30 18시

Qwen-Scope: 지능을 해독하고 잠재력을 끌어내다

Qwen이 Qwen3·Qwen3.5 기반 SAE 해석 도구 Qwen-Scope를 공개했다.

·2026.04.30 13시

DeepSeek-V4 논문 읽기 요약 - 노정석

DeepSeek-V4의 아키텍처 혁신과 인프라 최적화 및 학습 과정의 시행착오를 분석했다.

·2·2026.04.29 09시

Poolside, 코딩 모델 Laguna 시리즈 공개

Poolside가 코딩 에이전트 성능에 최적화된 Laguna XS.2와 Laguna M.1 모델을 공개했다.

·2026.04.29 01시

Poolside Laguna XS.2 공개

Poolside가 33B A3B MoE 모델 Laguna XS.2를 Apache 2로 공개했다.

·1·2026.04.29 00시

MoE vs Dense 모델 성능 직접 비교

MoE와 Dense 아키텍처의 성능 및 효율성을 직접 비교 분석한 연구 논문이다.

·2026.04.28 16시

llama.cpp MMQ 최적화

llama.cpp CUDA MMQ 커널이 fastdiv와 동적 타일링으로 일부 구간에서 속도를 개선했다.

·1·2026.04.25 23시

OpenMythos: 공개 연구로 복원한 Claude Mythos 아키텍처 가설인가, 또 다른 AI 하이프인가

OpenMythos를 사례로 기술적 검증 없이 아키텍처가 과열되는 'sheepwave' 현상을 분석하고 실제 구현 수준을 검증했다.

·1·2026.04.25 02시

vLLM에 Cohere MoE 추가

vLLM에 Cohere MoE 모델 지원 PR이 올라왔다.

·1·2026.04.25 01시

DeepSeek-V4 공개

DeepSeek이 1M 토큰 컨텍스트를 지원하는 V4 모델군을 공개했다.

·1·2026.04.24 18시

DeepSeek-V4 시리즈 공개

DeepSeek-V4 프리뷰가 공개돼 1.6T MoE와 1M 컨텍스트를 지원한다.

·1·2026.04.24 13시

학습 중 MoE 확장

32개 expert MoE를 학습 도중 64개로 늘려 GPU 시간을 약 32% 줄였다.

·2·2026.04.24 07시

Tencent, Hy3-preview 공개

Tencent가 총 295B 파라미터 중 21B를 활성화하는 MoE 모델 Hy3-preview를 공개했다.

·1·2026.04.23 23시

3개 모델 합쳤다

Qwen3.6-35B-A3B에 Qwopus·Holo3를 섞은 병합 모델과 벤치마크가 공개됐다.

·2·2026.04.23 08시

3.6-27B: Dense vs MoE 비교

신규 3.6-27B 모델 비교 결과, MoE 모델이 코딩 성능을 중심으로 Dense 모델을 빠르게 추격하고 있다.

·1·2026.04.23 04시

Qwen3.6 35B 8GB 설정

RTX 4060 8GB VRAM에서 Qwen3.6-35B-A3B를 llama-server로 돌리는 설정과 thinking 예산 함정을 공유했다.

·2026.04.21 18시

Mixture of Experts 모델, Speculative Decoding의 효과가 더 크다

MoE 모델은 Speculative Decoding 기술을 적용했을 때 더 높은 추론 가속 효과를 얻는다.

·1·2026.04.21 09시

MoE 규칙 취약

4x RTX 3090 테스트에서 MoE Qwen들이 dense 27B보다 엄격한 bash 규칙을 더 자주 어겼다.

·1·2026.04.21 00시

1T MoE 에이전트

Moonshot AI가 1T MoE 멀티모달 에이전트 모델 Kimi K2.6을 공개했다.

·2·2026.04.21 00시

MoE 54% 역전

RTX 5070 Ti에서 --n-cpu-moe로 Qwen3.6-35B-A3B 속도를 54% 끌어올림.

·2026.04.18 16시

임베딩 특화 라우터

Qwen3.5-35B-A3B 기반 35도메인 LoRA 라우팅 모델이 나왔다.

·2026.04.18 11시

모델마다 승부 역전

동일한 FP8 조건 비교에서 Ironwood와 B200의 우위가 모델별로 뒤집혔다.

·1·2026.04.18 06시

MoE가 뒤집었다

듀얼 RTX 5060 Ti에서 Qwen 3.6-35B-A3B가 90K 컨텍스트 21.7 tok/s를 기록했다.

·2026.04.18 02시