문서괴물 3B

Granite 4.0 3B Vision은 기업 문서 이해에 맞춘 소형 멀티모달 VLM이다. 복잡한 문서, 폼, 구조화된 시각 자료에서 정보를 안정적으로 뽑아내는 데 초점을 맞췄다.

핵심 기능은 다음과 같다.

• Table Extraction: 다중 행·다중 열 표 구조를 문서 이미지에서 추출
• Chart Understanding: 차트와 그림을 구조화 데이터, 요약, 실행 코드로 변환
• Semantic KVP Extraction: 다양한 레이아웃에서 의미 기반 key-value pair를 검출

모델은 Granite 4.0 Micro 위에 올린 LoRA adapter 형태로 제공된다. 그래서 비전이 필요 없을 때는 텍스트 전용 베이스 모델로 자연스럽게 폴백할 수 있어, 멀티모달과 텍스트 워크로드를 같은 배포 흐름에 담기 쉽다.

성능 개선의 핵심은 세 가지다.

• ChartNet: 차트 해석용으로 만든 170만 개 규모의 합성 멀티모달 데이터셋
• DeepStack Injection: 저수준 시각 특징과 고수준 의미를 서로 다른 레이어에 주입하는 아키텍처 변형
• 모듈형 설계: 엔터프라이즈 배포에 적합하도록 비전/언어를 분리

벤치마크에서는 차트와 표 추출에서 강한 결과를 냈다.

• **Chart2Summary 86.4%**로 평가된 모델 중 최고 점수
• **Chart2CSV 62.1%**로, 더 큰 Qwen3.5-9B(63.4%) 바로 아래
• 표 추출에서는 PubTables-v2 cropped 92.1, full-page 79.3, OmniDocBench 64.0, TableVQA 88.1로 선두권
• VAREX KVP 벤치마크에서는 zero-shot 85.5% EM을 기록

활용 방식은 두 가지다.

• 단일 이미지에서 바로 쓰는 stand-alone image understanding
• Docling과 결합해 PDF 전체를 처리하고, 표·그림을 잘라 Granite Vision에 넘기는 문서 파이프라인

적용 사례로는 인보이스/폼 처리, 재무 보고서 분석, 연구 문서 인텔리전스가 제시됐다. 라이선스는 Apache 2.0이다.