IBM, Granite Switch 4.1 공개… 채팅·의사결정·음성 통합

IBM이 Granite Switch 4.1 모델(Granite-Switch-4.1-8B 및 -30B)을 공개했다. 이 모델들은 자연어 응답, 전문 의사결정, 음성 인식 기능을 단일 호스팅 엔드포인트로 통합한다. 이번 릴리스는 모듈형 Granite Switch 프로젝트의 기반으로, 세 가지 주요 어댑터를 기본 모델에 통합하면서도 VRAM 요구 사항을 크게 늘리지 않았다.

주요 구성 요소

4.1 모델에는 다음이 포함된다:

• 범용 의사결정을 위한 새로운 Decision aLoRA
• 안전 관련 의사결정 작업에서 Jev 1.13, Microsoft-Decision-1, GPT-Luna-Decisions, Clef-Flash보다 우수한 성능을 보인다는 Guardian aLoRA
• 전사 작업을 위해 내장된 OpenASR Leaderboard에서 가장 빠른 ASR 모델로 확인된 Granite-Speech-5.0-Turbo-CTC

성능 및 효율성

이 모델들은 캐시 효율적인 Activated LoRAs(aLoRAs)를 활용하여 기본 모델 생성의 KV 캐시를 후속 어댑터 기반 의사결정에 재사용할 수 있다. 이 아키텍처는 저랭크 어댑터 추론을 위한 최근 vLLM 기여와 결합되어 채팅, 의사결정, 음성 요청 간 빠른 전환을 가능하게 한다.

Jev-27B와의 비교에서 Granite-Switch-4.1-30B는 실제 5단계 RAG 워크플로우를 훨씬 빠르게 완료했다. 또한, 커스텀 3B 파라미터 Granite Switch 모델은 Doom 게임 환경에서 Jev의 보고된 초당 10회 의사결정 속도와 비교해 초당 60~100회의 의사결정 속도를 보였다.