Lattice of Latents, Transformer 퍼플렉시티 14.40 달성

·2026.11.18 07:17

핵심 내용

Lattice of Latents가 Transformer 검증 퍼플렉시티를 14.40으로 낮췄다

자세히 보기

  • 레이어별 수평 잠재 스트림을 수직 잔차 스트림과 병행하여 재귀적으로 실행해 계산 용량을 높이는 Lattice of Latents 아키텍처를 소개함
  • 20B FineWeb-Edu 토큰으로 학습한 406M 파라미터 모델에서 검증 퍼플렉시티를 파라미터가 동일한 기존 Transformer 대비 15.41에서 14.40으로 낮춤
  • 하이퍼커넥션과 입력 잔차 등 기존 잔차 스트림 강화 기법과 결합하여 퍼플렉시티를 13.61까지 추가 감소시킴
  • Gated DeltaNet과 Mamba-2와 같은 재귀형 백본에서도 적용 가능하며, 네이티브 상태 크기가 4배 큰 순수 베이스라인보다 우수한 성능을 보임
  • 10B 토큰 학습 시 406M LLLM이 레이어 수가 적어 KV 캐시 크기를 45% 줄인 상태에서 609M Transformer보다 낮은 퍼플렉시티를 달성함

이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.

AI 처리 방식을 확인하거나, 요약 오류와 출처 표기 문제, 삭제 요청을 문의 · 건의로 알려주세요.