AI BriefingSenseNova-Loop-9B-Preview: 256K 컨텍스트와 루프 디코더를 갖춘 9B 멀티모달 모델
sensenova/SenseNova-Loop-9B-Preview · Hugging Face
·2026.10.30 21:34
핵심 내용
SenseNova-Loop-9B-Preview가 256K 컨텍스트와 루프 디코더를 지원한다
자세히 보기
- SenseNova-Loop-9B-Preview는 문서 이해, 코딩, 도구 상호작용을 위해 텍스트와 이미지를 입력받아 텍스트를 생성하는 롱컨텍스트 및 에이전틱 워크플로우용 멀티모달 언어 모델임
- 루프된 디코더 아키텍처를 적용하여 32개의 고유 레이어 중 연속된 24개 레이어 블록을 가중치 공유 방식으로 두 번 실행해 총 56회의 디코더 레이어 실행을 수행함
- 잔류 스트림 간 정보 흐름을 관리하는 2스트림 매니폴드-제약 하이퍼커넥션(mHC)과 4개 레이어 패턴으로 선형 및 풀 어텐션을 교차 배치하는 하이브리드 어텐션 메커니즘을 탑재함
- 문서화된 학습 레시피는 262,144 토큰의 최대 시퀀스 길이를 지원하며, 롱 시퀀스, 멀티모달 입력, 감독형 태스크 트래젝토리를 포함함
이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.
