Creation OS: 로컬 σ-게이트 LLM

Creation OS는 로컬 LLM 출력 앞단에 σ-gate를 붙여 결과를 ACCEPT / RETHINK / ABSTAIN으로 분기한다.

• BitNet b1.58 2B-4T, Qwen3-8B Q4_K_M, Gemma 3 4B 등 GGUF 모델을 지원하고, MacBook Air M4 8GB에서 동작하며 no cloud / no API를 전제로 한다.
• logprob, entropy, perplexity, consistency, semantic σ, conformal τ, session coherence 같은 여러 불확실성 신호를 합쳐 최종 판정을 만든다.
• TruthfulQA 817에서 BitNet 단독은 accuracy 0.261 / coverage 0.136, σ-pipeline은 0.336 / 0.171을 기록해 28.7% 정확도 개선을 주장했다.
• 별도 LSD probe에서는 TruthfulQA holdout AUROC 0.982, TriviaQA 0.960, HIDE 0.857, Gemma-2-2b 0.778를 제시했다.
• ECE 0.043, 오답이면서 자신감이 높은 케이스 0, 그리고 P(error | ACCEPT) ≤ α라는 conformal bound를 α=0.80에서 주장했다.
• 반면 HellaSwag와 MMLU에서는 σ가 우세하지 않았고, 구현은 Lean 4 6/6 sorry-free, Frama-C WP 15/15 discharge까지 검증했다고 적었다.