TRELLIS.2 신발 LoRA 미세조정 가이드, F-score 0.803
Microsoft의 이미지-to-3D 모델 TRELLIS.2를 신발 스캔 179개로 구조와 형상 단계 LoRA 미세조정하기
·2026.11.16 12:30
핵심 내용
TRELLIS.2 구조와 형상 단계에 LoRA를 적용해 F-score를 0.803까지 높였다.
자세히 보기
- TRELLIS.2의 구조와 형상 단계에만 LoRA를 적용해 신발 생성 품질을 크게 개선함
- 평가용 신발 9개 기준 F-score가 0.276에서 0.803으로, Chamfer distance가 0.174에서 0.033으로 향상됨
- 재질 단계는 고정하고, 구조 Rank 8, 형상 Rank 16으로 학습함
- A100 80GB 1장으로 약 11.8시간, 비용 약 $30에 학습 완료함
학습 및 실행 환경
- DINOv3 ViT-L/16으로 특징 추출 후 1.3B 파라미터 DiT 3개 순차 실행
- 구조와 형상 DiT는 각각 독립적으로 학습하며, PEFT의 inject_adapter_in_model 사용
- 24GB 이상 NVIDIA GPU에서 로컬 실행 가능, DINOv3 접근 권한 필요
라이선스 및 데이터
- 코드와 모델 가중치는 MIT 라이선스, 데이터는 CC BY 4.0
- DINOv3는 Meta 별도 라이선스 적용으로 서비스 적용 전 조건 확인 필요
이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.