3B 특화 모델이 대형 AI 제압

Dharma AI가 DharmaOCR을 공개하며 전문화된 소형 모델이 대형 범용 모델을 압도할 수 있음을 입증했다. 브라질 포르투갈어 OCR 벤치마크에서 3B 파라미터 특화 모델이 0.911점을 기록하며 모든 상용 프론티어 API를 제쳤다.

성능 비교 결과:

• DharmaOCR 3B: 0.911
• Claude Opus 4.6: 0.833
• Gemini 3.1 Pro: 0.820
• GPT-5.4: 0.750
• GPT-4o: 0.635

비용 효율성: Claude Opus 4.6 대비 약 52배 낮은 추론 비용으로 더 높은 품질을 달성했다. 텍스트 생성 오류율도 0.20%로 가장 낮았다.

핵심 발견: 파라미터 수보다 **분포 정렬(distributional alignment)**이 성능을 결정하는 주요 변수다. 일반 목적 모델에서 시작한 Qwen2.5-VL-3B는 동일한 파인튜닝 후 0.793에 그쳤지만, 이미 OCR에 특화된 Nanonets-OCR2 기반 모델은 0.921을 기록했다.

전문화의 단계적 누적: 범용 모델 → 범용 도메인 전문가 → 특정 도메인 전문가로 이어지는 계층적 특화가 성능을 누적시킨다. 7B 규모에서도 동일한 패턴이 확인됐다.

논문과 벤치마크는 Hugging Face에 공개되어 있다.