Furiosa SDK 2026.4, MoE 전력 효율 138% 향상 및 계층형 KV 캐시 도입

Furiosa SDK 2026.4는 RNGD 플랫폼의 네 번째 주요 릴리스로, 기존 공랭식 데이터센터 인프라에서 AI 워크로드 최적화에 초점을 맞췄다. 특히 Mixture-of-Experts(MoE) 모델의 효율성이 크게 향상되었으며, 2026.3 버전 대비 18개 모델의 **토큰 생성 전력 효율(token generation per watt)**이 개선됐다.

MoE 성능 향상

MoE 아키텍처에서 가장 큰 개선이 확인됐다:

• GPT-OSS-120B: 토큰 생성 전력 효율 +138%
• GPT-OSS-20B: +57%
• Qwen3-30B-A3B: +43%

계층형 KV 캐시 오프로딩

기본적으로 비활성화된 실험적 기능으로, 통합 래디시 트리를 사용해 NPU DRAM 한계를 넘어 프리픽스 재사용을 확장한다. 시스템은 3단계 계층 구조를 구현한다:

• L1: 활성 및 저지연 접근용 NPU DRAM
• L2: DMA를 통해 저장되는 퇴출 또는 백업 블록용 호스트 메모리
• L3: 클러스터 전체 재사용용 외부 저장소(현재 Mooncake 백엔드 지원)

두 가지 L2 쓰기 정책이 제공된다. Write-through(재사용 임계값, 기본값 2 초과 시 L2로 복사)과 Write-back(L1 퇴출 시 L2에 기록)이다. 이 정책들은 하이브리드 어텐션과 파이프라인 병렬 처리를 지원하기 위해 동시에 사용될 수 있다.

최적화된 멀티모달 서빙

비전-언어 모델이 이제 일반 FCFS 스케줄러에서 엔드투엔드로 실행되며, 텍스트 전용 및 이미지-텍스트 요청을 통합한다. 주요 최적화 사항:

• 배치 비전 인코딩: 여러 요청의 이미지를 동시에 인코딩해 처리량 향상
• 이미지 준비 오버래핑: 호스트 측 이미지 준비와 NPU 텍스트 생성을 겹쳐 유휴 시간 감소
• 이미지 임베딩 재사용: 대화 턴 및 데이터 병렬 워커 간 임베딩 캐싱

이 최적화가 적용된 모델은 Gemma 4, Qwen3-VL, EXAONE 4.5 등이다.

모델 커버리지 확대

다수의 새로운 모델 변형 지원이 추가됐다:

• Qwen3-VL: 2B 및 4B Instruct/Thinking 모델
• Qwen3 Embedding/Reranker: 0.6B 및 4B 모델
• Harrier OSS v1: 0.6B 다국어 지시 인식 텍스트 임베딩 모델
• Mistral NeMo: 12B Mistral-Nemo-Instruct-2407-FP8 텍스트 생성 모델
• Llama 3.1/3.3: 동적 양자화 FP8 변형
• BGE-M3 및 BGE Reranker v2 M3: 다국어 임베딩 및 크로스 인코더 모델
• E5-Mistral: E5-Mistral-7B-Instruct 지시 인식 임베딩 모델
• Gemma 4: 31B 비전-언어 모델
• EXAONE 4.5: 33B 비전-언어 모델

프로파일 기반 디코드 배칭

기존 옵트인 기능이던 Profile-Guided Decode Batching이 생성형 모델에 기본 활성화됐다. NPU 실행 및 I/O 비용 프로파일링을 기반으로 디코드 배치와 버킷 선택을 최적화한다. GPT-OSS-120B 벤치마크 결과 ShareGPT 출력 토큰 처리량이 중위값 기준 22.7% 증가하고 평균 TPOT는 16.0% 감소했다. 초기 프로파일링은 1-2분 소요되며 이후 프로파일은 캐시된다.

빠른 토큰 샘플링

CPU 샘플링은 Qrita에서 영감을 받은 더 빠른 top-k/top-p 필터링 알고리즘을 사용하며, SIMD 명령어와 BF16 로짓 분포 추정을 활용한다. 이로 인해 필터링 속도가 2.7-13.2배 빨라지고 출력 토큰 처리량이 최대 16.9% 향상됐다. 실험적 NPU 샘플링 옵션은 토큰 선택을 NPU로 직접 이동시켜 마이크로벤치마크 기준 호스트 처리 지연을 600µs 이상에서 약 100µs로 줄인다.

FXB로의 완전한 마이그레이션

SDK는 **Furiosa Executable Bundles(FXB)**로 완전히 마이그레이션되어 지원 중단된 레거시 아티팩트 형식 지원이 제거됐다. FXB는 컴파일된 커널과 메타데이터를 모델 가중치와 별도로 패키징해 서빙 호스트에서 커널 컴파일 없이 모델을 시작할 수 있게 한다. 호환되는 파인튜닝 또는 가중치 업데이트 모델은 재컴파일 없이 기존 FXB 번들을 재사용할 수 있다.