HuggingFace, VLM 학습용 nanoVLM 공개

nanoVLM은 Andrej Karpathy의 nanoGPT에서 영감을 받아 제작된, Vision Language Model(VLM) 학습을 위한 최소한의 PyTorch 기반 툴킷이다.

코드베이스를 의도적으로 단순하고 읽기 쉽게 설계하여, VLM의 내부 동작 원리를 파악하고자 하는 입문자나 연구자에게 최적화되어 있다.

주요 특징 및 아키텍처:

• Vision Backbone: Google의 SigLIP vision encoder 사용
• Language Backbone: Llama 3 아키텍처 기반
• Alignment: Modality Projection 모듈을 통해 시각 및 언어 모달리티를 정렬
• 학습 목표: Visual Question Answering(VQA)에 집중

사용자는 별도의 로컬 설정 없이 Google Colab을 통해 즉시 학습을 시작할 수 있다.