LensVLM: 텍스트의 압축된 시각적 표현을 위한 선택적 컨텍스트 확장

Vision Language Models(VLM)는 텍스트를 토큰화하는 대신 렌더링된 이미지로 직접 처리할 수 있는 잠재력을 가지고 있습니다. 이미지 인코더가 고정된 수의 시각적 토큰을 생성하기 때문에, 렌더링 해상도를 조절하여 압축 효율을 제어할 수 있습니다.

하지만 압축률을 높이면 글자가 인코더의 유효 해상도보다 작아져 식별이 불가능해지는 문제가 발생합니다. 이를 해결하기 위해 LensVLM 프레임워크를 제안합니다.

LensVLM은 다음과 같은 특징을 가집니다:

• VLM이 이미지 내 텍스트 영역을 정밀하게 스캔할 수 있도록 돕는 추론 프레임워크 제공
• 모델의 성능을 최적화하기 위한 사후 학습(Post-training) 레시피 포함
• 압축된 시각적 표현 환경에서도 텍스트 인식 정확도를 유지하도록 설계됨