LLaDA2.2, 레벤슈타인 편집 도입한 확산 언어 모델 공개
LLaDA2.2: 레벤슈타인(Levenshtein) 편집 기법을 도입하여 에이전트 작업을 지원하는 확산 언어 모델(Diffusion LM)
·2026.07.31 06:30
확산 언어 모델의 고정 길이 출력 한계를 극복하고 에이전트 성능을 높인 LLaDA2.2가 공개되었습니다.
Ant Group의 Inclusion AI 팀이 공개한 LLaDA2.2는 기존 확산 언어 모델(dLLM)의 구조적 한계를 해결하기 위해 레벤슈타인 편집(Levenshtein Editing) 메커니즘을 도입했습니다.
기존 LLaDA 2.1까지는 토큰을 교체(Substitute)하거나 유지(Keep)하는 방식만 지원하여 출력 길이가 고정되는 문제가 있었습니다. 이는 복잡한 도구 호출이나 JSON 형식을 다루는 에이전트 작업에서 치명적인 오류를 유발했습니다. LLaDA2.2는 여기에 **삭제(Delete)**와 삽입(Insert) 연산을 추가하여 시퀀스의 길이를 유연하게 조절할 수 있게 했습니다.
주요 특징은 다음과 같습니다:
- 레벤슈타인 편집 패러다임: 병렬 디코딩 중에도 토큰의 삽입과 삭제가 가능해져 구조적 경직성을 완화함
- MoE 확산 모델 인프라: 128K 컨텍스트 윈도우 확장 및 블록 라우팅(Block Routing)을 통한 추론 비용 최적화
- L-EBPO 시스템: 편집 결정 과정을 환경 보상과 연계하여 최적화하는 강화학습 프레임워크 제안
이를 통해 LLaDA2.2는 기존 자기회귀(AR) 모델의 지연 시간 문제를 해결하면서도, 에이전트 작업에서 발생하는 **목표 표류(Goal Drift)**와 추론 경로 붕괴 문제를 효과적으로 개선했습니다.
이 요약은 원문 이해를 돕기 위한 큐레이션입니다. 저작권은 원저작자에게 있으며, 정확한 내용과 맥락은 원문을 확인하세요.
요약 오류, 출처 표기 문제, 삭제 요청은 문의 · 건의로 알려주세요.