새로운 희소 주의 집중 아키텍처 DWARF 공개

새로운 아키텍처인 DWARF를 기반으로 한 첫 번째 모델인 DWARF-55M-Base가 공개되었습니다. 이 모델은 거의 모든 층이 희소(Sparse)한 구조를 가진 DSQG(Dynamic Sparse Query-Gather) 레이어를 백본으로 사용하며, 전체 컨텍스트를 조율하기 위해 단 하나의 Full Causal Attention 레이어만을 포함합니다.

DSQG는 모든 과거 토큰을 스캔하는 대신, 고정된 범위 내의 인접 및 장거리 토큰 오프셋을 샘플링하여 연산량을 줄입니다. 이를 통해 컨텍스트 길이에 관계없이 **KV 캐시 대역폭과 어텐션 연산량이 거의 O(1)**에 수렴하도록 설계되었습니다.

주요 특징은 다음과 같습니다:

• 효율적인 컨텍스트 확장: 2,048 토큰으로 학습되었으나, 테스트 결과 학습 길이의 최대 3배인 6,144 토큰까지 신뢰할 수 있는 검색(Retrieval) 성능을 보였습니다.
• HISA 경로 지원: 실험적 기능으로, Full Attention 대신 HISA(Hybrid Sparse Attention) 경로를 사용하여 순수 희소(Purely Sparse) 방식의 경쟁력 있는 성능을 구현할 수 있습니다.
• 학습 데이터: Dolma3 Mix 150B 데이터셋 중 10B 토큰을 사용하여 학습되었습니다.