1200장/초 OCR

TurboOCR는 PaddleOCR를 C++/CUDA, FP16 TensorRT, 커널 퓨전, 배치 인식, 멀티스트림 파이프라인으로 다시 구현해 속도를 크게 끌어올린 OCR 엔진이다.

• 이미지와 PDF를 HTTP/gRPC로 받아 bounding boxes, text, layout regions를 반환한다.
• 레이아웃 인식은 요청별로 켜고 끌 수 있으며, 켜도 추론 시간은 **약 20%**만 늘어난다.
• 성능은 텍스트가 많은 페이지에서 270 img/s, 희소한 페이지에서 1,200+ img/s를 주장한다.
• 대상 환경은 Linux, RTX 50-series, CUDA 13.2다.

작성자는 대량 PDF 처리에서 VLM/OCR의 비용과 처리량이 병목이 되자 이 프로젝트를 만들었다고 설명한다. 다만 복잡한 표 추출이나 invoice → JSON 같은 구조화 출력은 여전히 PaddleOCR-VL 같은 VLM 기반 OCR이 더 적합하다고 밝힌다.

즉, 대규모 문서 인덱싱이나 실시간 RAG처럼 OCR 처리량이 중요한 워크로드에서 주목할 만한 오픈소스 최적화 사례다.