DiffusionGemma 기술 보고서

DiffusionGemma는 기존 autoregressive(AR) LLM의 순차적 토큰 디코딩 병목을 줄이기 위해 discrete diffusion을 사용하는 실험적 open-weight 언어 모델이다. 한 번에 한 토큰씩 생성하는 대신 256개 토큰 블록을 병렬로 반복 정제해 텍스트를 생성한다.

모델은 처음부터 학습하지 않고, Gemma 4 mixture-of-experts 모델을 fine-tuning해 구축했다. 총 파라미터는 25.2B이며, 추론 시 활성화되는 파라미터는 3.8B다.

학습에는 기존 AR 모델을 기반으로 한 2단계 compute-efficient 파이프라인을 사용했으며, 출발점이 된 AR 모델 전체 학습에 필요한 연산량의 10% 미만을 사용했다고 보고서는 설명한다.