TRELLIS.2 LoRA 파인튜닝으로 신발 F-score 0.803 달성

• Hugging Face가 TRELLIS.2 3D 생성 모델을 커스텀 3D 자산으로 LoRA 어댑터를 사용해 파인튜닝할 수 있는 스크립트와 컨테이너를 제공함
• Google Scanned Objects 데이터셋의 신발 188개 객체로 파인튜닝했을 때 F-score가 0.276에서 0.803으로 향상되고 Chamfer distance가 0.174에서 0.033으로 감소함
• Sparse-structure flow DiT와 Shape flow DiT에 LoRA 어댑터를 적용하고, Texture flow DiT는 재질 맵 부재로 인한 catastrophic forgetting을 방지하기 위해 동결함
• Hugging Face Jobs 또는 로컬 환경에서 단일 A100 80GB GPU로 학습이 가능하며, sparse-structure 어댑터는 7.2시간, shape 어댑터는 3.6시간 소요됨

Technical Implementation

• 이미지 특징 추출에는 DINOv3-L, 배경 제거에는 BiRefNet 사용
• LoRA 어댑터는 sparse-structure attention/MLP에 rank 8, shape attention 레이어에 rank 16을 적용하여 학습 가능 파라미터 총 약 9.3M 구성
• rectified flow matching loss와 optimizer, bfloat16 autocasting을 활용한 학습 수행

Availability and Tools

• 코드와 전처리된 데이터셋은 GitHub 및 Hugging Face Hub에서 제공
• Hugging Face Jobs 또는 로컬 Docker 컨테이너를 통한 실행 지원
• Trackio를 활용해 메트릭 추적 및 시각화 수행