AI BriefingApple Research, SSM 게이팅 메커니즘이 인-컨텍스트 학습 저해 확인
·2026.11.10 09:00
핵심 내용
Apple 연구, SSM 게이팅이 인-컨텍스트 학습 저해 확인했다
자세히 보기
- State Space Models(SSM)의 게이팅 메커니즘이 네트워크가 인-웨이트(in-weights) 암기 솔루션을 먼저 학습하도록 유도하여, 올바른 인-컨텍스트 학습 솔루션으로의 수렴을 지연시키거나 방지함
- 아키텍처나 메모리 용량이 해당 작업에 근본적인 제한을 부과하지 않는 경우에도 이러한 실패 모드가 발생함
- 게이팅은 긴 시퀀스 길이로의 일반화를 개선하는 데 종종 유익하여, 학습 동역학과 일반화를 형성하는 이중적 역할을 강조함
- SSM 성능에서 게이팅의 특정 역할을 다루어 선형 시간 모델의 이해와 개선을 위한 기반을 제공함
Research Context
- Apple과 Harvard University 소속 저자들이 2026년 11월 NeurIPS에서 발표함
- 해당 연구는 상수 메모리와 선형 컴퓨트 이점에도 불구하고 SSM이 인-컨텍스트 학습과 정밀한 검색이 필요한 작업에서 Transformer에 뒤처지는 이유를 다루음
이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.
