추천embeddinggemma-2-GGUF: 텍스트·이미지·영상·음성을 768차원 벡터로 통합

텍스트, 코드, 이미지, 영상, 음성 등 4가지 모달리티를 하나의 768차원 벡터 공간으로 매핑하는 멀티모달 임베딩 모델이다. 총 740M 파라미터 규모로, 모바일과 노트북 등 소비자용 하드웨어에서도 저지연 추론이 가능하도록 설계됐다.

Matryoshka Representation Learning(MRL)을 지원해 임베딩 차원을 768d부터 128d까지 자유롭게 잘라낼 수 있다. 이를 통해 벡터 저장 비용을 최대 6배까지 줄이면서도 검색 및 분류 성능의 저하를 최소화한다.

텍스트 백본과 모듈형 비전·오디오 인코더가 분리되어 있어, 필요 없는 모달리티는 로드하지 않고 경량화할 수 있다. 100개 이상의 언어와 코드를 이해하며, 8K 토큰 컨텍스트 윈도우로 긴 오디오나 영상도 처리한다.

RAG, 검색, 클러스터링 등 다양한 작업에 최적화된 임베딩을 생성하기 위해 가벼운 텍스트 지시문(prefix)을 사용한다. GGUF 형식으로 제공되어 llama.cpp 등 로컬 추론 환경에서 쉽게 배포할 수 있다.