Gemma-4 미세 조정 및 배포 시 주의사항
Trials and tribulations fine-tuning & deploying Gemma-4 [P]
Gemma-4 모델의 미세 조정 및 배포 과정에서 발생하는 주요 기술적 이슈와 해결책을 정리했다.
Gemma-4 모델을 활용해 미세 조정(Fine-tuning) 및 배포 파이프라인을 구축할 때 발생하는 주요 기술적 문제점과 대응 방안은 다음과 같다.
-
PEFT 호환성 문제: Google이 도입한
ClippableLinear클래스가nn.Linear를 상속받지 않아, PEFT가 LoRA를 인식하지 못하는 현상이 발생한다. 이를 해결하려면 가중치를 로드한 후 PEFT를 호출하기 전에 래퍼(wrapper)를 해제해야 한다. -
SFTTrainer 학습 불안정: TRL 라이브러리의
use_cache=False설정이 Gemma-4의 KV-sharing attention 구조를 깨뜨려 학습이 수렴하지 않는 문제가 있다. 이 문제는transformersv5.5.2 이상 버전에서 수정되었다. -
DeepSpeed ZeRO-3 이슈: LoRA 학습 시 DeepSpeed ZeRO-3를 사용하면 일부 레이어의 어댑터 텐서가 비어 있는 상태로 저장되어 학습 결과가 반영되지 않을 수 있다. 현재는 LoRA 학습 시 DeepSpeed 사용을 피하는 것이 권장된다.
-
런타임 LoRA 서빙 제약: vLLM 및 SGLang에서 Gemma-4의 멀티모달 아키텍처를 위한 런타임 LoRA 지원이 아직 완벽하지 않다. 따라서 현재는 가중치를 수동으로 병합하고 state dict 키를 재매핑하는 과정이 필요하다.
이 요약은 원문 이해를 돕기 위한 큐레이션입니다. 저작권은 원저작자에게 있으며, 정확한 내용과 맥락은 원문을 확인하세요.
요약 오류, 출처 표기 문제, 삭제 요청은 문의 · 건의로 알려주세요.