Strata: 125B 파라미터 모델을 게이밍 PC에서 60 tokens/s로 구동

서버급 사양이 필요한 125B 파라미터의 Qwen3.8-Flash-Next 모델을 일반 데스크톱 환경에서 실행한다. NVIDIA RTX 20 시리즈 이상 그래픽 카드와 64GB RAM만 있으면, 서버 없이도 초당 60~95 tokens의 빠른 추론 속도를 확보할 수 있다.

모델 가중치를 RAM과 VRAM에 지능적으로 분배하는 방식으로 메모리 한계를 우회한다. 128K 컨텍스트 윈도우를 지원하며, 긴 프롬프트 입력 시에도 초당 2,000 tokens 이상의 처리 속도를 유지해 문서 분석이나 코드 리뷰 작업에 적합하다.

코딩 특화 모델인 Coder 버전은 SWE-bench Verified 점수의 91%를 유지하면서도 RAM 요구량을 32GB 수준으로 낮췄다. 다중 GPU 환경에서는 레이어를 카드별로 분산 배치해 프롬프트 처리 속도를 최대 20%까지 향상시킬 수 있다.