AI BriefingPercepta, Spotlight 아키텍처 출시
New Architecture from Percepta: Spotlight — separating intelligence from memory, allowing knowledge and skills to grow without changing the model's weights.
·2026.10.03 02:47
핵심 내용
Percepta가 지능과 메모리를 분리해 접근 비용 증가 없이 메모리를 확장하는 Spotlight 아키텍처를 공개했다.
자세히 보기
Percepta가 지능 모듈과 메모리를 분리하는 새로운 아키텍처 Spotlight를 공개했다. 이 설계는 모델 가중치를 변경하지 않고 지식과 기능을 확장할 수 있게 해, 재학습 없이 새로운 역량을 습득할 수 있다.
주요 기술 특징
- 상수 접근 비용의 무한 메모리: Spotlight은 표준 어텐션을 모든 토큰이 무한한 메모리에 읽고 쓰는 시스템으로 대체한다. 모델이 개별 메모리 셀을 인덱싱하는 방식을 학습하므로, 각 토큰은 소수의 셀에만 접근해 메모리 크기와 관계없이 접근 비용이 일정하게 유지된다.
- 임의 희소성: 고정된 수의 전문가를 활성화하는 Mixture-of-Experts 모델과 달리, Spotlight은 임의적으로 희소하다. 메모리 사용 비율은 메모리 성장과 독립적으로 필요에 따라 축소할 수 있다.
- 쓰기 가능 및 자가 관리 메모리: 메모리는 지식, 절차, 작업 상태를 저장한다. 모델이 토큰 단위로 무엇을 로드하고 언제 덮어쓸지 스스로 결정한다.
시사점
메모리가 확장되는 동안 지능 모듈의 크기는 동일하게 유지된다. 이러한 분리는 모델의 역량이 지능 모듈 크기에 제한되지 않음을 의미하며, 전통적인 가중치 업데이트의 연산 오버헤드 없이 동적 기능 습득과 지식 보존이 가능해진다.
이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.
