LlamaIndex, OCRia-1 추론 속도 10배 향상

LlamaIndex가 문서 파싱 모델 OCRia-1의 추론 스택을 최적화하여 단일 B200 GPU에서 토큰 생성 속도를 약 285에서 약 2,800 tokens/sec로 약 10배 향상함
주요 병목 현상인 메모리 바운드 디코딩을 해결하기 위해 데이터 이동을 줄이고, 포워드 패스당 토큰 수를 늘리며, CPU/GPU 오버헤드를 제거함
BF16, FP8, NVFP4를 활용한 혼합 정밀도 양자화를 민감한 레이어에 적용하고, 시각적 정확도를 유지하기 위해 비전 인코더는 양자화하지 않음
DFlash2 기반 추측 디코딩을 적용하여 승인율을 12개 토큰 이상으로 높여, 타겟 포워드 패스당 여러 토큰을 생성함
ReplaySSM 검증을 위한 커스텀 CUDA 커널을 개발하여 레이어별 지연 시간을 72–80 µs에서 23–24 µs로 줄여, 기존 Triton 구현 대비 3.3배 속도 향상을 달성함
CPU 측 메타데이터 준비를 최적화하여 공유 계산 값을 캐싱하고, GPU 런칭 횟수를 스텝당 약 290회에서 1회로 줄여 중복 동기화 오버헤드를 제거함
일반 최적화 사항은 vLLM에 기여할 예정이며, OCRia-1은 현재 모든 티어에서 LlamaParse를 통해 제공됨

핵심 내용