AI Briefing#mixture-of-experts
#mixture-of-experts와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#mixture-of-experts와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
DeepSeek가 V4-Pro와 V4-Flash 프리뷰를 공개하며 가격 경쟁력을 강조했다.
DeepSeek가 V4-Pro 가격을 75% 인하하고 API cache-hit 비용도 10분의 1로 낮췄다.
MoE 아키텍처가 DeepSeek의 대규모 모델 추론 비용을 낮추는 이유를 설명했다.
MoE 모델은 Speculative Decoding 기술을 적용했을 때 더 높은 추론 가속 효과를 얻는다.
AI21 Labs의 Jamba 모델이 하이브리드 아키텍처를 통해 Transformer의 긴 문맥 처리 한계를 해결한다.
Transformer의 연산 효율을 극대화하는 MoE(Mixture of Experts) 구조의 원리와 장점을 설명한다.