Agnes-3.0-Flash 33B 공개, 하이브리드 어텐션 적용

Hugging Face에 Agnes-3.0-Flash 33B 모델이 공개되었다. 이 모델은 262,144 토큰의 컨텍스트 윈도우를 지원하며, 텍스트, 이미지, 비디오 이해 및 도구 호출 기능을 갖추고 있다.

하이브리드 어텐션 아키텍처

모델의 핵심은 하이브리드 어텐션 구조다. 전체 72개 레이어 중 54개는 시퀀스 길이에 의존하지 않는 재귀적 상태를 사용하는 '게이티드 델타 룰(gated delta rule)'을 적용하고, 나머지 18개 레이어만 표준 글로벌 어텐션을 사용한다. 이를 통해 컨텍스트 길이에 따라 증가하는 KV 캐시를 최소화하여 메모리 효율성을 높였다.

주요 기술 사양

• 레이어 구성: 72개 레이어 (54개 델타 룰 + 18개 글로벌 어텐션, 3:1 비율)
• 히든 사이즈: 5120
• 어텐션 구조: 글로벌 어텐션은 24개 쿼리 헤드 / 4개 KV 헤드(GQA), 델타 룰 레이어는 16개 키 헤드 / 48개 밸류 헤드
• 포지션 인코딩: 텍스트, 높이, 너비 3축 로타리(mrope) 적용
• 비전 타워: 27개 레이어, 패치 크기 16, 2x2 공간 병합

한편, 벤치마크 사이트 Artificial Analysis에서는 해당 모델이 'Proprietary model'로 표기되며, Hugging Face의 사양과 벤치마크 결과, 컨텍스트 정보 등이 상이한 것으로 나타나 데이터 불일치 가능성이 제기되었다.