AI BriefingDharmaOCR, 벤치마크 공개
DharmaOCR: Open-Source Specialized SLM (3B) + Cost–Performance Benchmark against LLMs and other open-sourced models
·2026.04.30 01:08
핵심 내용
DharmaOCR가 3B·7B 특화 SLM과 비용·성능 벤치마크를 공개했다.
자세히 보기
DharmaOCR를 Hugging Face에 공개하고, 관련 모델과 데이터셋도 모두 개방했다.
- 3B와 7B 오픈소스 SLM을 SFT + DPO로 미세조정했다.
- 비교 대상은 GPT-5.4, Gemini 3.1 Pro, Claude Opus 4.6, Google Document AI와 오픈소스 대안인 OlmOCR, Deepseek-OCR, GLMOCR, Qwen3였다.
- 특화 모델이 가장 높은 성능을 기록했으며, 점수는 7B 0.925, 3B 0.911이었다.
- 모델의 degenerate outputs를 rejected examples로 쓰는 DPO 방식은 실패율을 87.6% 낮췄다.
- AWQ quantization은 페이지당 추론 비용을 약 22% 줄였고, 성능 저하는 거의 없었다.
논문도 함께 공개돼 실험 방법과 비교 결과를 확인할 수 있다.
이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.
