Cactus, Gemma 4에 자기신뢰도 프로브 추가

Cactus가 Gemma 4 E2B에 68k 파라미터 프로브 레이어를 추가해 모델 자체 오류 감지 및 클라우드 라우팅 신호로 활용하는 하이브리드 추론 시스템을 공개했다.

Cactus는 소형 온디바이스 모델(Gemma 4 E2B)에 68k 파라미터 프로브 레이어를 추가해, 모델이 각 응답에 대해 0~1 사이의 **신뢰도 점수(confidence score)**를 반환하도록 post-training했다.

신뢰도가 낮을 때만 Gemini Flash-Lite 같은 클라우드 모델로 라우팅하는 방식으로, 전체 쿼리의 15~55%만 클라우드로 전송해도 대부분의 벤치마크에서 Gemini Flash-Lite 수준 성능을 달성한다.

프로브 구조는 LayerNorm → 저랭크 프로젝션 → 어텐션 풀링 → MLP 헤드로 구성되며, 디코딩 중 중간 레이어의 hidden state에서 p(wrong)을 예측한다. 응답 텍스트 파싱이 아닌 구조화된 데이터로 반환된다.

성능 비교 (AUROC):

특히 프로브는 오디오 데이터 없이 훈련됐음에도 오디오 벤치마크 4종에서 0.79~0.88 AUROC를 기록한 반면, 엔트로피는 0.32~0.52(랜덤 수준)에 그쳤다. 이는 hidden state에서 모달리티 독립적인 정확도 신호를 읽고 있음을 시사한다.

가중치는 HuggingFace에 공개(MIT), Transformers·MLX·Llama.cpp·Cactus 실행 코드 제공. Ollama·vLLM·SGLang 지원도 예정되어 있다.