TRELLIS.2 신발 LoRA 미세조정 가이드, F-score 0.803

Microsoft의 이미지-to-3D 모델 TRELLIS.2를 신발 스캔 179개로 구조와 형상 단계 LoRA 미세조정하기

·2026.11.16 12:30

핵심 내용

TRELLIS.2 구조와 형상 단계에 LoRA를 적용해 F-score를 0.803까지 높였다.

1 / 9

자세히 보기

  • TRELLIS.2의 구조와 형상 단계에만 LoRA를 적용해 신발 생성 품질을 크게 개선함
  • 평가용 신발 9개 기준 F-score가 0.276에서 0.803으로, Chamfer distance가 0.174에서 0.033으로 향상됨
  • 재질 단계는 고정하고, 구조 Rank 8, 형상 Rank 16으로 학습함
  • A100 80GB 1장으로 약 11.8시간, 비용 약 $30에 학습 완료함

학습 및 실행 환경

  • DINOv3 ViT-L/16으로 특징 추출 후 1.3B 파라미터 DiT 3개 순차 실행
  • 구조와 형상 DiT는 각각 독립적으로 학습하며, PEFT의 inject_adapter_in_model 사용
  • 24GB 이상 NVIDIA GPU에서 로컬 실행 가능, DINOv3 접근 권한 필요

라이선스 및 데이터

  • 코드와 모델 가중치는 MIT 라이선스, 데이터는 CC BY 4.0
  • DINOv3는 Meta 별도 라이선스 적용으로 서비스 적용 전 조건 확인 필요

이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.

AI 처리 방식을 확인하거나, 요약 오류와 출처 표기 문제, 삭제 요청을 문의 · 건의로 알려주세요.