Fractale-350M-base 모델 공개
Fractale-350M-base: memory as trained behaviour instead of long context, a fully open research release
·2026.07.20 09:57
긴 컨텍스트 윈도우 대신 학습된 벡터 뱅크를 통해 메모리를 구현한 386M 파라미터 규모의 오픈 모델이 공개되었습니다.
Fractale-350M-base는 386M 파라미터 규모의 베이스 모델로, 10B 토큰(코드 및 영어 웹 데이터)을 사용하여 처음부터 사전 학습되었습니다. 이 모델의 핵심은 긴 컨텍스트 윈도우를 사용하는 대신, 8개의 벡터 뱅크를 모델의 fast weights로 활용하여 메모리 기능을 수행한다는 점입니다.
주요 특징은 다음과 같습니다:
- 메모리 메커니즘: 각 512토큰 청크마다 하나의 gist 벡터를 생성하여 FIFO 방식으로 관리하며, 이 벡터들은 하이퍼네트워크를 통해 저차원 MLP로 확장되어 순전파(forward pass) 과정의 일부로 통합됩니다.
- 성능 지표: 실험 결과, 메모리 뱅크를 사용할 때와 사용하지 않을 때의 교차 엔트로피(CE) 차이(GAP)가 코드 데이터에서 +9.4 nats, 웹 데이터에서 +7.3 nats로 나타나 메모리의 유효성을 입증했습니다.
- 특이 사항: 컨텍스트 윈도우를 의도적으로 512토큰으로 제한했음에도 불구하고, 모델은 메모리 뱅크를 통해 과거 정보를 참조하여 다음 토큰을 예측하는 능력을 갖추었습니다.
이 요약은 원문 이해를 돕기 위한 큐레이션입니다. 저작권은 원저작자에게 있으며, 정확한 내용과 맥락은 원문을 확인하세요.
요약 오류, 출처 표기 문제, 삭제 요청은 문의 · 건의로 알려주세요.