AI BriefingStability AI Research 뉴스
Stability AI Research에서 수집한 AI·개발 최신 뉴스와 한국어 요약입니다.
원문 사이트 방문 →Arbor, 3D 자산 생성 제어 위해 constraint meshes 도입
Arbor이 hull, avoidance, touch 영역을 네이티브 3D 제어 인터페이스로 활용해 latent 생성을 유도한다.
4Director, 강체 3D 지오메트리로 비디오 월드 모델 제어
4Director가 20,774개 클립 데이터셋과 Motion Adapter로 시점 일관적 영상 생성을 구현했다.
SemanTok, 201M 파라미터로 3.4배 큰 VideoFlexTok 성능 뛰어넘어
201M 파라미터 SemanTok AR 모델이 3.4배 큰 VideoFlexTok 모델과 동등하거나 더 나은 성능을 보였다.
Stable-Layers: VLM 점수를 활용한 강화 학습 기반 이미지 레이어 분해 모델 미세 조정
Stable-Layers는 VLM의 피드백을 활용한 강화 학습을 통해 쌍을 이룬 데이터 없이 이미지 레이어 분해 모델을 미세 조정한다.
OCTOPUS: 최적 제곱 오차 양자화와 팔면체 매개변수화를 이용한 트랜스포머 KV Cache 최적화
팔면체 매개변수화와 결합 양자화를 통해 트랜스포머의 KV Cache 압축 성능을 극대화한 OCTOPUS가 공개되었다.
Stable Audio 3 및 SAME(Semantically-Aligned Music Autoencoder) 소개
가변 길이 오디오 생성 및 편집을 위한 고속 잠재 확산 모델인 Stable Audio 3를 공개했다.
동결된 latent text-to-audio 모델을 영상에 맞게 정렬하는 Foley Control
Foley Control은 동결된 T2A 모델에 작은 video cross-attention만 붙여 영상 동기화를 학습한다.
ReSWD: ReSTIR처럼 흔들리지 않게. Reservoir Sampling과 Sliced Wasserstein Distance를 결합한 분산 감소
Reservoir Sampling을 SWD에 결합해 고분산 추정과 불안정한 gradient를 줄였다.
Stable Cinemetrics: 전문 영상 생성을 위한 구조적 분류체계와 평가
전문 영상 생성을 4개 제어 축으로 나눠 10+ 모델의 한계를 드러냈다.
SD3.5-Flash: 생성형 Flow의 분포 유도 증류
SD3.5-Flash는 몇 단계만으로도 고품질 이미지를 내는 경량 distillation 프레임워크다.
Stable Part Diffusion 4D: 단일 시점 입력에서 멀티뷰 RGB와 kinematic part 비디오 생성
SP4D는 단일 시점 입력으로 RGB와 kinematic part 비디오를 함께 생성한다.
SV4D 2.0: 고품질 4D 생성을 위한 Multi-View Video Diffusion의 시공간적 일관성 강화
SV4D 2.0은 시공간적 일관성을 강화해 고품질 동적 3D 자산을 생성하는 Multi-View Video Diffusion 모델이다.
Latent Adversarial Diffusion Distillation을 이용한 고속 고해상도 이미지 합성
LADD 기술을 통해 4단계 샘플링만으로 고해상도 이미지를 생성하는 SD3-Turbo를 선보였다.
Stable Virtual Camera: 3D 카메라 제어를 활용한 다중 뷰 비디오 생성
Stable Virtual Camera는 3D 카메라 제어를 통해 일관성 높은 다중 뷰 비디오를 생성하는 범용 확산 모델이다.
SPAR3D: 단일 이미지 기반의 안정적인 포인트 인식 3D 객체 재구성
SPAR3D는 포인트 디퓨전 모델을 활용해 단일 이미지로부터 고정밀 3D 객체를 0.7초 만에 재구성한다.