Lattice of Latents, Transformer 퍼플렉시티 14.40 달성
·2026.11.18 07:17
핵심 내용
Lattice of Latents가 Transformer 검증 퍼플렉시티를 14.40으로 낮췄다
자세히 보기
- 레이어별 수평 잠재 스트림을 수직 잔차 스트림과 병행하여 재귀적으로 실행해 계산 용량을 높이는 Lattice of Latents 아키텍처를 소개함
- 20B FineWeb-Edu 토큰으로 학습한 406M 파라미터 모델에서 검증 퍼플렉시티를 파라미터가 동일한 기존 Transformer 대비 15.41에서 14.40으로 낮춤
- 하이퍼커넥션과 입력 잔차 등 기존 잔차 스트림 강화 기법과 결합하여 퍼플렉시티를 13.61까지 추가 감소시킴
- Gated DeltaNet과 Mamba-2와 같은 재귀형 백본에서도 적용 가능하며, 네이티브 상태 크기가 4배 큰 순수 베이스라인보다 우수한 성능을 보임
- 10B 토큰 학습 시 406M LLLM이 레이어 수가 적어 KV 캐시 크기를 45% 줄인 상태에서 609M Transformer보다 낮은 퍼플렉시티를 달성함
이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.