AI Briefing#mamba
#mamba와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#mamba와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
Apple 연구진이 Pythia-1B를 Mamba 모델로 증류해 perplexity 14.01을 달성했다.
SteerTTS가 Open TTS Leaderboard에서 평균 WER 1.8%를 기록하며 51개 스타일 태그와 제로샷 클로닝을 지원한다.
배치 256 기준 SSM 커널 최대 1.8배, 배치 512 투기적 디코딩 처리량 최대 2.1배 향상
아마존 Bio Discovery 팀이 항체 결합 강도 예측, 개발성 평가, 신약 설계 등 AI 기반 항체 연구 논문 3편을 공개했다.
새로운 연구는 트랜스포머 스택에서 어텐션 메커니즘의 배치 순서보다 다양한 메커니즘의 조합(특히 SSM 포함)이 성능에 더 큰 영향을 미친다고 입증했다.
NVIDIA가 추론 효율성을 대폭 개선한 MoE 기반의 Nemotron-3 Puzzle-75B 모델을 출시했다.
vLLM이 Mamba 레이어 문제로 발생하던 Qwen 3.5+ 모델의 TurboQuant 미구현 오류를 해결함.
AI21 Labs의 Jamba 모델이 하이브리드 아키텍처를 통해 Transformer의 긴 문맥 처리 한계를 해결한다.
AI21이 Jamba의 256K 컨텍스트 윈도우를 활용한 해커톤을 개최하여 혁신적인 AI 활용 사례를 선보였다.
Mamba와 Transformer를 결합한 하이브리드 구조의 아랍어 특화 모델 Falcon-H1-Arabic이 공개되었다.
고품질 추론 데이터를 활용해 15B 추론 모델을 성능 저하 없이 2.1배 빠른 Mamba 하이브리드로 증류했다.
FuriosaAI가 ICML과 ACL에서 모델 효율성, 추론 능력, 유연성을 높이는 6편의 연구 논문을 발표했다.
AI21은 3년 현장 경험을 바탕으로 GenAI의 한계와 Jamba의 해법을 제시했다.