Mica v0.1 4B: 에이전트 루프용 오픈 의사결정 모델

Mica v0.1 4B는 AI 에이전트 루프(게이팅, 라우팅, 사용자 질문 여부 판단 등)를 위해 설계된 새로운 오픈소스 의사결정 모델입니다. Apache-2.0 라이선스로 공개된 이 모델은 텍스트 생성 없이 예/아니오, 다중 선택지, 점수화된 레벨에 대해 보정된 확률(calibrated probabilities)을 출력합니다. TypeSafe /v1/systemone 형식과 호환되어 기존 Jev 스타일 워크플로우에 통합할 수 있습니다.

아키텍처 및 학습

모델은 Qwen3.5-4B를 기반으로 하며, 32개 레이어 전체에 rank-16 LoRA를 적용해 표준 체크포인트로 병합했습니다. 학습에는 약 34k개의 원본 의사결정 데이터를 확장한 77,732개 행(34.7M 토큰)이 사용되었으며, 영어와 한국어가 균등하게 분포되어 코딩 에이전트, 코드 리뷰, 정책 규칙 등 다양한 도메인을 포함합니다. 실험을 포함한 전체 학습 과정은 RTX 3090 GPU 대여 비용으로 $30 미만으로 완료되었습니다.

성능 벤치마크

7,328개 의사결정으로 구성된 홀드아웃 세트에서 Mica는 영어 하위셋에서 67.0점을 기록해 JevK5 4B(61.0)와 Kev 4B(57.0)를 능가했으나, 폐쇄형 API인 Jev 1.13(74.1)에는 미치지 못했습니다. RTX 3090에서의 속도 테스트 결과, Q4_K_M 양자화 버전은 중앙값 지연 시간 47 ms를 달성해 Kev 4B(76 ms)와 JevK5 4B(99 ms)보다 현저히 빨랐습니다.

주요 기능 및 한계

• 견고성: 데이터 내 프롬프트 인젝션 공격에 대해 Mica는 **69%**의 정확도를 유지하며, Jev의 18%보다 우수합니다.
• 보정: 높은 신뢰도 예측(≥0.9)의 오류율은 **2.5%**로 낮습니다(ECE 5.4%).
• 효율성: Q5_K_M GGUF 파일 크기는 3.5 GB이며, BF16 대비 정확도 손실이 미미합니다.
• 한계: 지식 중심 작업(MMLU-Pro 점수 53.0 vs Jev 82.3)과 긴 영어 정책 문서 처리에는 어려움을 겪습니다. 또한 가역적 조치와 비가역적 조치를 명확히 구분하지 못하는 점이 현재 한계로 지적됩니다.