AI Briefing#ssm
#ssm와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#ssm와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
배치 256 기준 SSM 커널 최대 1.8배, 배치 512 투기적 디코딩 처리량 최대 2.1배 향상
새로운 연구는 트랜스포머 스택에서 어텐션 메커니즘의 배치 순서보다 다양한 메커니즘의 조합(특히 SSM 포함)이 성능에 더 큰 영향을 미친다고 입증했다.
Transformer의 문맥 확장 한계를 극복하기 위해 최근 정보를 fast weights로 압축하는 '수면' 메커니즘을 제안한다.
AI21 Labs의 Jamba 모델이 하이브리드 아키텍처를 통해 Transformer의 긴 문맥 처리 한계를 해결한다.
H Company가 SSM과 어텐션 하이브리드 구조를 적용해 추론 효율을 극대화한 컴퓨터 사용 에이전트 모델 Holotron-12B를 공개했다.
FuriosaAI가 ICML과 ACL에서 모델 효율성, 추론 능력, 유연성을 높이는 6편의 연구 논문을 발표했다.