파인튜닝을 통한 위성 이미지 분야 시각 언어 모델의 잠재력 극대화

파운데이션 모델을 특정 도메인에 맞게 조정하는 **파인튜닝(Fine-tuning)**은 전문적인 작업에서 성능을 극적으로 높이는 핵심 기술이다. 특히 Pixtral-12B와 같은 시각 언어 모델(VLM)을 위성 이미지 데이터에 맞게 최적화함으로써 일반 모델의 한계를 극복할 수 있다.

모델 전체를 재학습하는 대신 LoRA(Low-Rank Adaptation) 기술을 사용하면 효율적인 학습이 가능하다. LoRA는 모델 가중치에 작은 훈련 가능한 행렬을 주입하여, 전체 모델을 수정하지 않고도 도메인 특화 어휘나 지식을 효과적으로 학습시킨다.

위성 이미지는 환경 변화 모니터링, 국방, 농업 등 고도의 전문성이 요구되는 분야다. **Aerial Image Dataset(AID)**을 활용한 사례 연구 결과, 파인튜닝을 거치지 않은 기본 모델은 다음과 같은 한계를 보였다:

• 밀집 주거지와 중간 주거지 등 미세한 시각적 차이를 구분하는 데 어려움을 겪음
• 프롬프트 기반 방식에서 존재하지 않는 클래스 이름을 생성하는 환각(Hallucination) 현상 발생

반면, Pixtral-12B를 위성 이미지 데이터로 파인튜닝하면 모델이 도메인 맥락을 이해하게 되어, 모호한 클래스에 대해서도 훨씬 정확하고 세밀한 분류가 가능해진다.