AI BriefingNCM, LM1B에서 DLM 대비 21배 빠른 생성 속도 달성
·2026.11.09 16:20
핵심 내용
NCM이 LM1B에서 DLM보다 21배 빠르고 퍼플렉시티를 개선했다
자세히 보기
- Next-Concept Modeling(NCM)은 다중 스케일 잔차 VQ-VAE를 사용해 텍스트를 이산 코드 계층으로 인코딩하고, 이를 단계별로 병렬 생성하는 2단계 coarse-to-fine 프레임워크임
- LM1B 벤치마크에서 NCM은 가장 강력한 Diffusion Language Model(DLM) 베이스라인보다 생성 퍼플렉시티(perplexity)가 낮고, 속도는 21배 빠름
- OpenWebText에서는 가장 강력한 DLM과 경쟁 가능한 성능을 보이며 속도는 10배 빠름
- XSum에서는 가장 강력한 DLM의 ROUGE-L 점수와 동등한 결과를 내며 속도는 31배 빠름
- 추론 작업에서 NCM은 모든 난이도의 스도쿠에서 오토리그레시브 및 DLM 베이스라인보다 적은 함수 평가 횟수로 더 높은 성능을 기록함
- DLM은 샘플링 단계가 줄면 성능이 급격히 저하되고 매 단계마다 전체 시퀀스를 처리해야 하는 한계를 해결하는 방법임
이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.
