Gemma 멀티모달 파인튜너 (GitHub 저장소)

Gemma Multimodal Fine-Tuner는 Mac 환경에서 Gemma 모델을 텍스트, 이미지, 오디오를 포함한 멀티모달 데이터로 파인튜닝할 수 있도록 지원하는 도구다. NVIDIA GPU 없이 Apple Silicon(MPS) 환경에서 네이티브하게 작동하며, LoRA 기법을 활용해 효율적인 학습을 제공한다.

주요 기능은 다음과 같다:

• 멀티모달 학습: 텍스트뿐만 아니라 이미지(캡셔닝, VQA) 및 오디오 데이터를 활용한 파인튜닝이 가능하다.
• 클라우드 데이터 스트리밍: GCS나 BigQuery에서 데이터를 직접 스트리밍하여, 테라바이트급 대용량 데이터를 로컬 SSD 용량 제한 없이 학습할 수 있다.
• 실시간 시각화: 브라우저를 통해 손실 곡선(Loss curve), 어텐션 히트맵(Attention heatmap), 그래디언트 신호 등을 실시간으로 모니터링할 수 있다.

기존의 MLX-LM이나 Unsloth와 달리, 이 도구는 Apple Silicon에서의 멀티모달 학습과 클라우드 데이터 스트리밍에 최적화되어 있다. 이를 통해 의료, 법률, 제조 등 특정 도메인에 특화된 ASR(자동 음성 인식), 비전 모델, 문서 이해 모델 등을 개인용 Mac에서 프라이빗하게 구축할 수 있다.