Black Forest Labs, FLUX.3 Image Klein 공개

Black Forest Labs가 Hugging Face Diffusers에서 새로운 이미지 생성 모델 FLUX.3 Image Klein을 공개했다. 이 모델은 text-to-image, multi-reference image-to-image, bounding-box layout control을 지원하며, JSON으로 정의된 영역을 통해 요소 위치 지정이나 참조 이미지의 부분 이동이 가능하다.

성능 및 효율성

두 가지 체크포인트가 포함된다:

• black-forest-labs/flux-3-image-klein: 속도 최적화를 위한 time-step distilled 모델로, 16 steps만 필요하고 CFG를 사용하지 않는다. H100 GPU에서 1024x1024 이미지를 약 2초에 생성한다.
• black-forest-labs/flux-3-image-klein-base: 50 steps와 CFG가 필요한 base 모델로, fine-tuning에 적합하다.

메모리 사용량은 NVFP4 및 FP8 (fp8r) 가중치를 통해 최적화되었다. H100에서 distilled 모델의 최대 메모리 사용량은 23.8 GiB이다. 참조 이미지는 transformer 호출당 4,096 tokens를 추가하여, text-only 생성 대비 추론 시간이 약 두 배 증가한다.

아키텍처 및 기능

FLUX.3은 Qwen3-VL text encoder와 2단계 transformer 아키텍처를 사용한다:

1. Stage 1 (Per-mode blocks): text, noisy image, reference 스트림별로 분리된 가중치를 사용한다.
2. Stage 2 (Joint blocks): 모든 token이 서로 상호작용하는 공유 가중치를 사용한다.

주요 기능은 다음과 같다:

• Layout Control: 0~1000으로 정규화된 [y_min, x_min, y_max, x_max] 형식으로 영역을 정의한다. src_bbox에서 tgt_bbox로 요소를 이동하는 기능을 지원한다.
• Modular Diffusers: pipeline에서 블록 교체 및 커스텀 삽입이 가능하며, 중간 결과를 위한 Flux3PreviewStep 등이 포함된다.
• LoRA Training: text-to-image 및 image editing용 DreamBooth 스크립트를 제공한다. --gradient_checkpointing 및 --use_8bit_adam 같은 메모리 최적화 플래그를 지원한다.