Cactus 하이브리드 AI 라우터 공개

Cactus Compute에서 발표한 Cactus Hybrid Router는 65k 파라미터 규모의 초소형 모델로, 작업의 난이도에 따라 로컬 에지 모델(Gemma4-2B 등)과 클라우드 프론티어 모델(Gemini-3.1-Flash-Lite 등) 사이에서 실행 경로를 실시간으로 결정한다.

주요 특징은 다음과 같다:

• 성능 및 비용 최적화: 작업의 15~55%를 클라우드로 라우팅함으로써, 로컬 모델을 주력으로 사용하면서도 Gemini-3.1-Flash-Lite 수준의 성능을 구현한다.
• 양자화 내성: 자체 기술인 Cactus Quants를 통해 4bit 양자화 시에도 FP16에 근접한 성능을 유지한다.
• 유연한 자원 할당: 에지-클라우드 라우팅 비율을 조정하여 인프라 비용과 응답 속도 사이의 균형을 최적화할 수 있다.
• 멀티모달 지원: 텍스트뿐만 아니라 비전(Vision) 및 오디오(Audio) 프롬프트까지 처리 가능하다.

이 기술은 클라우드 인프라의 추론 부담을 줄이고, 에지 디바이스로의 AI 확장을 가속화하는 것을 목표로 한다.