MiniMax-H3-Fun-Controlnet-Union: 5가지 컨트롤 영상 하나로 MiniMax-H3 제어

Canny, Depth, HED, MLSD, Pose 등 5가지 컨트롤 영상을 하나의 체크포인트로 처리한다. 기존 방식처럼 조건별로 모델을 전환할 필요 없이, VideoX-Fun 파이프라인 위에서 MiniMax-H3 기반 영상 생성기를 제어한다. 영상 인페인팅 기능도 동일하게 지원한다.

컨트롤 분기는 50개 트랜스포머 블록 중 5개(0, 10, 20, 30, 40층)에 연결된다. 가이던스 디스틸링을 적용해 guidance_scale을 1.0으로 설정하면 단일 포워드 패스로 추론이 가능하다. control_context_scale 값을 조절해 컨트롤 영상의 영향력을 0.0부터 1.0까지 유연하게 조정할 수 있다.

출력 영상은 컨트롤 영상의 프레임 수와 종횡비를 따르며, 최대 15초 길이로 제한된다. 고정 24fps로 렌더링되며, 장면과 주체, 카메라 움직임을 상세히 묘사한 프롬프트가 안정성에 기여한다. 체크포인트 파일은 약 6.8GB 크기의 컨트롤 브랜치만 포함하며, 기본 MiniMax-H3 가중치와 함께 로드된다.

트랜스포머와 텍스트 인코더를 합산하면 약 124GB의 메모리가 필요해 단일 80GB GPU에서는 전체 로딩이 어렵다. model_group_offload 또는 model_cpu_offload_and_qfloat8 옵션을 사용해 메모리 관리를 해야 한다. MiniMax H3 커뮤니티 라이선스 하에 배포되며, 지역 제한과 사용 정책 확인이 필요하다.