AI BriefingApple, Transformer를 Mamba로 변환하는 2단계 증류 방법 제안
·2026.11.11 22:29
핵심 내용
Apple 연구진이 Pythia-1B를 Mamba 모델로 증류해 perplexity 14.01을 달성했다.
자세히 보기
- Apple, Concordia University, Johns Hopkins University 연구진이 Attention 기반 Transformer를 Mamba 계열 State Space Models(SSM)로 변환하는 2단계 증류 방법을 제안함. 이 과정에서 하이브리드 Attention 블록을 사용하지 않음.
- 먼저 커널 트릭 변형을 활용해 Transformer를 선형화된 Attention 버전으로 증류한 뒤, 이를 변형된 Mamba 모델로 다시 증류하는 방식임.
- 증류된 Mamba 모델은 원본 Pythia-1B의 성능 대부분을 유지하며, perplexity 14.01을 기록함. 이는 teacher 모델의 13.86 대비 근접한 수치임.
- 성능 차이는 주로 in-context recall에 크게 의존하는 하위 태스크에서 나타남.
- 연구는 1B 규모, 10B 토큰 기준 ablation을 포함하며, sequence mixer 아키텍처, 모델 크기 확장, 증류 단계 간 토큰 배분을 분석함.
이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.
