AI BriefingMica v0.5, API 대안보다 25배 빠른 4B 의사결정 모델
Mica v0.5: The smartest 4B decision model is also the fastest one. 20 ms per answer, 25x faster than Jev
·2026.10.22 04:00
핵심 내용
Mica v0.5가 JevBench Hard 84점, JDI 58.8점으로 더 큰 모델들을 앞섰다
자세히 보기
- Mica v0.5는 Apache-2.0 라이선스로 공개된 4B 파라미터 의사결정 모델로, 8GB VRAM만 있는 단일 소비자용 GPU에서 구동되도록 설계됨
- RTX 6000 Ada에서 256 토큰 기준 19.8ms, 32k 토큰 기준 약 1.2초의 추론 속도를 기록하며, 다른 4B 판정 모델보다 최대 3.8배, API 기반 의사결정 모델보다 25~340배 빠름
- JevBench Hard에서 84/111점을 얻어 테스트된 4B 모델 중 최고점을 기록하고, JDI에서는 58.8점으로 비교 대상인 9B 및 35B 모델을 모두 상회함
- 2~255단계의 점수 평가, 객관식, 예/아니오 판단을 지원하며, 정답 옵션 순서를 섞어도 97.3%의 일관성을 유지하고 불확실 시 거부할 수 있는 임계값 설정 제공
- NVIDIA에서 가장 빠른 INT8 포맷과 AMD, Apple, CPU용 GGUF(BF16, Q8_0, IQ4_XS) 포맷을 지원하며, llama.cpp 환경에서 INT8 버전은 Q8_0 GGUF보다 2~2.7배 빠름
이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.
