NVIDIA Cosmos Predict 2.5를 LoRA/DoRA로 미세 조정하여 로봇 비디오 생성하기 (9분 읽기)

NVIDIA Cosmos Predict 2.5는 텍스트를 기반으로 비디오를 생성하는 모델로, LoRA 및 DoRA와 같은 학습 가능한 어댑터를 주입하여 로봇 조작(Robot Manipulation)과 같은 특정 작업에 맞춰 최적화할 수 있다.

이 방식은 단일 GPU 환경에서도 효율적인 미세 조정(Fine-tuning)을 가능하게 하며, 모델이 기존 지식을 잃어버리는 치명적 망각(Catastrophic Forgetting) 현상을 방지하면서 합성 궤적(Synthetic Trajectories)을 빠르게 생성한다.

학습 방식에 따른 차이점은 다음과 같다:

• LoRA: 메모리 사용량이 제한적인 환경에 적합하다.
• DoRA: 학습 과정의 불안정성을 해결하는 데 유리하다.