Gemma 멀티모달 추론용 단일 파일 C 엔진 공개

Google의 Gemma 모델군(1, 2, 3)을 위한 단일 파일 순수 C 언어 추론 엔진 'gemma.c'가 공개됐다. llama.cpp나 ggml 같은 외부 라이브러리 의존성 없이, 트랜스포머 구조, 하이브리드 슬라이딩 윈도우 어텐션, RoPE, int8 양자화, BPE 토크나이저, SigLIP 비전 인코더 등 핵심 구성 요소를 모두 수작업으로 구현했다.

주요 기술 특징

• 멀티모달 지원: SigLIP 비전 타워를 포함하여 텍스트뿐만 아니라 이미지 입력 처리가 가능하며, 고해상도 이미지를 위한 Pan & Scan 기능도 제공한다.
• 성능 최적화: GEMM/GEMV 커널을 직접 작성하여 fp32, fp16, bf16 및 W8A8(가중치 8bit, 활성화 8bit) 양자화를 지원한다. FlashAttention 스타일의 인과적 타일링을 적용한 하이브리드 어텐션을 사용한다.
• 간편한 빌드 및 배포: gcc, clang, msvc 등으로 단일 명령어 빌드가 가능하며, mmap을 통한 가중치 로딩과 KV 캐시 스트리밍 생성을 지원한다.

활용 및 한계

Hugging Face 체크포인트를 변환하는 Python 스크립트를 제공하며, --text-only 옵션으로 비전 타워를 건너뛰어 메모리를 절약할 수 있다. 현재 가중치 데이터 타입은 컴파일 타임에 선택되지만, 런타임 디스패치를 위한 개선이 계획되어 있다. 복잡한 의존성 없이 현대적 트랜스포머의 내부 구조를 이해하고 싶은 개발자나 경량 추론 환경을 구축하려는 사용자에게 유용하다.