Stable Diffusion, 이미지 편집 명령 수행

Stable Diffusion에 **인스트럭션 튜닝(Instruction-tuning)**을 적용하여, 입력 이미지와 함께 "만화 필터 적용"과 같은 명령어를 통해 이미지를 편집하거나 변환하는 기술을 탐구한다.

이 방식은 기존 InstructPix2Pix 전략을 확장하여, 카툰화(cartoonization)나 이미지 비(rain) 제거(deraining)와 같은 구체적인 이미지 변환 및 저수준 이미지 처리 작업까지 수행할 수 있도록 한다.

주요 내용은 다음과 같다:

• 인스트럭션 튜닝의 개념 및 동기
• 데이터셋 준비 및 학습 실험 결과
• 잠재적 응용 분야 및 기술적 한계점

관련 코드, 사전 학습된 모델, 데이터셋은 Hugging Face를 통해 공개되어 있다.