바이트댄스 Cola-DLM 공개

Cola DLM은 텍스트를 연속 잠재공간으로 바꾸는 Text VAE와 block-causal Diffusion Transformer(DiT) prior를 결합한 계층형 continuous latent diffusion language model이다.

이 저장소는 논문 Continuous Latent Diffusion Language Model의 Hugging Face 형식 체크포인트를 공개한 것이다.

• VAE가 텍스트를 연속 latent sequence로 인코딩하고 다시 토큰으로 복원한다.
• DiT는 Flow Matching으로 latent prior transport를 수행한다.
• 공개된 가중치는 논문 RQ4 스케일링 곡선의 2000 EFLOPs 체크포인트에 해당한다.
• 토크나이저는 OLMo 2 tokenizer이며, 어휘 수는 100,278개다.
• 특수 토큰은 pad_token_id=100277, eos_token_id=100257, im_end_token_id=100265로 제공된다.
• 구현은 **PyTorch 2.1+**와 **Transformers 4.40+**를 전제로 하며, 라이선스는 Apache 2.0이다.