DharmaOCR, 벤치마크 공개
DharmaOCR: Open-Source Specialized SLM (3B) + Cost–Performance Benchmark against LLMs and other open-sourced models
·2026.04.30 01:08
DharmaOCR가 3B·7B 특화 SLM과 비용·성능 벤치마크를 공개했다.
DharmaOCR를 Hugging Face에 공개하고, 관련 모델과 데이터셋도 모두 개방했다.
- 3B와 7B 오픈소스 SLM을 SFT + DPO로 미세조정했다.
- 비교 대상은 GPT-5.4, Gemini 3.1 Pro, Claude Opus 4.6, Google Document AI와 오픈소스 대안인 OlmOCR, Deepseek-OCR, GLMOCR, Qwen3였다.
- 특화 모델이 가장 높은 성능을 기록했으며, 점수는 7B 0.925, 3B 0.911이었다.
- 모델의 degenerate outputs를 rejected examples로 쓰는 DPO 방식은 실패율을 87.6% 낮췄다.
- AWQ quantization은 페이지당 추론 비용을 약 22% 줄였고, 성능 저하는 거의 없었다.
논문도 함께 공개돼 실험 방법과 비교 결과를 확인할 수 있다.
이 요약은 원문 이해를 돕기 위한 큐레이션입니다. 저작권은 원저작자에게 있으며, 정확한 내용과 맥락은 원문을 확인하세요.
요약 오류, 출처 표기 문제, 삭제 요청은 문의 · 건의로 알려주세요.