AI BriefingStrata, 12GB VRAM서 Qwen3.8-Flash-Next 125B 실행 엔진 공개
Strata: 12GB 그래픽카드 PC에서 125B 모델 Qwen3.8-Flash-Next만을 위해 만든 추론 엔진
·2026.10.16 21:00
핵심 내용
llama.cpp 대비 생성 속도 4.6배 향상, 12GB VRAM으로 125B MoE 모델 구동
자세히 보기
개발자 Niko1221이 Qwen3.8-Flash-Next(125B MoE) 모델 전용 추론 엔진 Strata를 공개했다. 범용 엔진 대신 GPU, CPU, RAM, SSD 자원을 동시 활용하는 구조로, 12GB VRAM과 32GB RAM 환경에서 실행 가능하다.
핵심 기술 및 성능
- 자원 분산: VRAM에는 공통 부분과 자주 쓰는 전문가를, RAM에는 나머지 전문가를 배치해 CPU가 병렬 계산한다. SSD에는 N-gram 임베딩 표를 저장한다.
- 속도 향상: llama.cpp v0.6.0 대비 생성 속도가 약 4.6배 빠르며(RTX 3060 기준), 32K 프롬프트 첫 토큰 지연 시간도 크게 단축했다.
- 최적화 기법: 모델 내장 MTP 층을 활용한 투기적 디코딩으로 생성 속도를 1.6~1.8배 높이고, 하위 전문가 생략(Tail Skip)으로 추가 가속을 달성했다.
제한 사항 및 라이선스
- 단일 모델 전용: Qwen3.8-Flash-Next 및 파생 버전만 지원하며 다른 모델은 구동할 수 없다.
- 동시성 부족: 기본 설정은 1요청 처리에 최적화되어 있어 동시 요청 시 성능 저하가 발생할 수 있다.
- 라이선스: 엔진은 MIT 라이선스이나, 모델 파일은 Qwen Community License 1.0을 따르므로 상업적 서비스 제공 시 별도 라이선스 확인이 필요하다.
이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.
