AI Briefing#llm-efficiency
#llm-efficiency와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#llm-efficiency와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
DSpine이 Qwen3-8B 스펙ulative 디코딩 처리량을 23.3% 높였다
Trajectory가 작업 단위 비용을 최적화하는 density-aware training을 공개하며 효율성을 입증했다.
Fireworks가 Kimi K3 기반의 Ember-1을 공개해 토큰 사용량을 40% 줄이고 성능은 유지했다.
2026년 9월 3주차에는 추론 비용을 줄이기 위한 'Compile by Training', 'R4T', 'Breaking the Token Ceiling' 등 사전 컴파일 및 증류 패러다임의 논문들이 주목받았다.
MiMo-V2.5 모델의 Hybrid SWA 구조를 활용해 KVCache 저장 공간과 연산량을 1/7 수준으로 절감하는 엔지니어링 최적화 기법을 소개한다.
버려지는 토큰의 정보를 재활용하는 RCD 기술을 통해 확산 언어 모델의 정확도와 추론 속도를 획기적으로 개선했다.
DeepSeek이 추론 효율성을 극대화하여 생성 속도를 최대 85%까지 높이는 최적화 기술을 오픈소스로 공개했다.
고품질 추론 데이터를 활용해 15B 추론 모델을 성능 저하 없이 2.1배 빠른 Mamba 하이브리드로 증류했다.