AI Briefing#llm-inference
#llm-inference와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#llm-inference와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
작업 난이도에 따라 컴퓨팅 자원을 유동적으로 할당하여 SWE 에이전트의 비용과 속도를 최적화하는 전략을 제안한다.
vLLM의 Transformers 모델링 백엔드가 최적화되어 기존 커스텀 구현체와 대등하거나 더 빠른 성능을 제공합니다.
확산 기반 언어 모델(BD-LM)의 병렬 디코딩 성능을 높이기 위한 Multi-Block 방식의 MBD-LM을 제안한다.
llama.cpp에 확률 분포를 국소적으로 평활화하여 생성 품질을 높이는 Scatter 샘플러가 실험적으로 도입되었습니다.
입력 데이터에 따라 압축 예산을 자동으로 조절하는 임계값 없는 KV Cache 압축 기술 ReFreeKV를 제안한다.
자연어 명세를 경량화된 신경망 아티팩트로 컴파일하여 추론 비용을 획기적으로 낮추는 새로운 패러다임을 제안함.
강화 학습을 통해 Diffusion LLM의 토큰 선택(Unmasking) 효율성을 극대화하는 새로운 정책 학습 방법을 제안한다.
DeepSeek가 LLM의 응답 속도를 획기적으로 개선하는 추측적 디코딩 프레임워크 DSpark를 MIT 라이선스로 공개했다.
llama.cpp 프로젝트에 DeepSeek V4 모델 지원을 위한 Pull Request가 병합되었습니다.
병렬 트리 드래프팅 기술을 통해 LLM 추론 속도를 비약적으로 높인 JetSpec 연구가 공개되었습니다.
OpenAI가 Broadcom과 협력하여 LLM 추론 성능을 극대화한 자체 인텔리전스 프로세서 'Jalapeño'를 공개했다.
r/LocalLLaMA 커뮤니티의 대규모 데이터를 분석하여 로컬 AI 생태계의 현황을 진단함.
Lemonade v10.8은 자동 메모리 관리, 클라우드 오프로드 및 MCP 게이트웨이 기능을 도입했다.
Z Lab과 Modal이 협력하여 개발한 DFlash 기술이 기존 MTP 방식보다 월등한 LLM 추론 성능을 달성했다.
NVIDIA Blackwell GB300 NVL72 플랫폼이 AgentPerf 벤치마크에서 Hopper 대비 전력 효율이 20배 높은 압도적 성능을 기록했다.
AI 에이전트의 중복 연산을 줄이기 위해 사전 계산된 KV Cache를 공유 및 거래하는 새로운 인프라 모델을 제안한다.
MiniMax가 대규모 문맥 처리를 위해 연산 효율을 극대화한 새로운 희소 어텐션 기술인 MSA를 발표했습니다.
KV 캐시를 압축하여 RAM이나 디스크에 저장함으로써 모델의 컨텍스트 길이를 획기적으로 확장하는 InfiniteKV가 공개되었습니다.
Google이 기존 LLM의 순차적 생성 방식에서 벗어나 텍스트 블록을 동시에 생성하는 실험적 모델 DiffusionGemma를 공개했다.
DeepSeek-V4의 CSA KV-cache를 압축하여 GPU 메모리 효율을 극대화하는 경량 리트리버가 공개되었습니다.
KV Cache의 양자화 손실을 줄이기 위해 스펙트럼 공분산 인지 회전을 사용하는 OSCAR 기술이 공개되었습니다.
Nvidia가 로컬 AI 모델 실행을 위해 128GB 통합 메모리를 갖춘 Windows PC용 시스템을 제안했다.