SegMoE: 확산 모델용 MoE 프레임워크 공개

SegMoE는 Stable Diffusion 아키텍처를 기반으로 하며, 기존의 Feed-Forward 레이어를 희소(sparse) MoE 레이어로 교체하여 여러 전문가 모델을 하나의 모델로 결합한 프레임워크입니다. 라우터 네트워크가 각 토큰을 가장 효율적으로 처리할 전문가를 선택하여 연산 효율성을 높이는 방식입니다.

Hugging Face의 diffusers 라이브러리와 완벽하게 통합되어 있으며, 사용자가 직접 자신만의 MoE 스타일 모델을 구축할 수 있는 코드와 GitHub 저장소를 함께 제공합니다.

주요 출시 모델:

• SegMoE-2x1: 2개의 전문가 모델 기반
• SegMoE-4x2: 4개의 전문가 모델 기반
• SegMoE SD 4x2: 4개의 Stable Diffusion 1.5 전문가 모델 기반

사용자는 segmoe 패키지를 통해 단 몇 분 만에 커스텀 MoE 모델을 생성할 수 있습니다.