AI Briefing#diffusion-transformer
#diffusion-transformer와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#diffusion-transformer와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
Meta가 지연 시간 870ms의 실시간 아바타 생성 기술 Muse Realtime Avatar를 출시했다.
Odyssey가 로봇, 자율주행, 게임 등을 제어하는 범용 물리 인텔리전스 모델 Odyssey-3를 공개했다.
로봇의 형태와 제어 정책을 동시에 최적화하는 통합 확산 트랜스포머 모델을 제안함.
애플은 메모리 사용량을 최소화하면서 고품질 음성을 실시간 생성하는 새로운 오디오 합성 아키텍처를 선보였다.
Nvidia가 하이브리드 어텐션 기술을 통해 고해상도 롱폼 비디오 생성을 가속화하는 SANA-Video 2.0을 발표했다.
MoBA 어텐션 마스크와 증류 기술을 통해 장기 생성 시 발생하는 드리프트 문제를 해결한 LingBot World 모델이 공개되었습니다.
Krea가 창의적 탐색과 제어에 최적화된 12B 파라미터 규모의 오픈 가중치 이미지 생성 모델 Krea 2를 공개했다.
Diffusion Transformer 모델의 성능을 ImageNet부터 T2I까지 통합적으로 평가하는 프레임워크를 공개했다.
Qwen-RobotWorld는 자연어를 인터페이스로 활용해 다양한 로봇 형태와 환경을 통합 학습하는 차세대 Embodied World Model이다.
1-bit 및 Ternary 양자화를 통해 메모리 사용량을 1GB 내외로 줄인 초경량 이미지 생성 모델 Bonsai Image 4B가 공개되었다.
PrismML이 WebGPU를 통해 브라우저에서 로컬 실행이 가능한 1-bit/ternary 기반 Bonsai Image 4B 모델을 공개했다.
NVIDIA가 6-DoF 카메라 궤적으로 1분 720p 비디오를 생성하는 SANA-WM을 공개했다.
NVIDIA가 1분 720p 비디오용 2.6B open-source world model을 공개했다.
ActionParty는 비디오 생성 모델이 여러 피사체에 각각 다른 동작을 정확히 할당하지 못하는 '동작 바인딩' 문제를 해결한다.
2024년 AI 이미지 및 비디오 생성 분야의 주요 기술적 전환점과 오픈소스 모델 성과를 요약했다.