DiffusionGemma 기술 보고서
·2026.08.05 09:00
DiffusionGemma가 256개 토큰을 병렬 정제해 텍스트 생성 속도를 높였다.
DiffusionGemma는 기존 autoregressive(AR) LLM의 순차적 토큰 디코딩 병목을 줄이기 위해 discrete diffusion을 사용하는 실험적 open-weight 언어 모델이다. 한 번에 한 토큰씩 생성하는 대신 256개 토큰 블록을 병렬로 반복 정제해 텍스트를 생성한다.
모델은 처음부터 학습하지 않고, Gemma 4 mixture-of-experts 모델을 fine-tuning해 구축했다. 총 파라미터는 25.2B이며, 추론 시 활성화되는 파라미터는 3.8B다.
학습에는 기존 AR 모델을 기반으로 한 2단계 compute-efficient 파이프라인을 사용했으며, 출발점이 된 AR 모델 전체 학습에 필요한 연산량의 10% 미만을 사용했다고 보고서는 설명한다.
이 요약은 원문 이해를 돕기 위한 큐레이션입니다. 저작권은 원저작자에게 있으며, 정확한 내용과 맥락은 원문을 확인하세요.
요약 오류, 출처 표기 문제, 삭제 요청은 문의 · 건의로 알려주세요.
