DiffusionBlocks, 메모리 3-4배 절감

Sakana AI가 ICLR 2026에서 발표한 DiffusionBlocks는 딥 뉴트워킹의 전방 패스(forward pass)를 Diffusion 모델의 신호 노이즈 제거 과정으로 재해석하여 네트워크를 블록 단위로 독립적으로 학습시키는 기법이다.

기존의 엔드투엔드 백프롭게이션(end-to-end backprop) 방식은 전체 네트워크를 메모리에 동시에 유지해야 하므로 자원 한계에 직면했으나, 이 기법은 하나의 블록만 격리하여 학습함으로써 메모리 요구량을 크게 줄인다.

ViT, DiT, LLM 등 다양한 모델에서 엔드투엔드 학습과 동등한 성능을 달성했으며, 대규모 적용 시 가중치, 그래디언트, 옵티마이저, 활성화 값 등 전반적인 메모리 사용량을 3~4배 절감할 수 있을 것으로 예상된다.

또한 학습의 병렬화 효율을 높이고 통신 비용을 줄이며, Looped Transformer 학습 및 Diffusion 모델 추론 효율성 개선에도 기여할 수 있다.