AI Briefing#inference-optimization
#inference-optimization와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#inference-optimization와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
ACL 2024에서 발표된 연구를 중심으로 LLM의 추론 효율성과 자원 사용량을 최적화하는 최신 기술들을 살펴본다.
llama.cpp가 Intel SYCL 환경에서 Flash Attention 지원 및 Qwen 모델 추론 속도 향상 업데이트를 반영했습니다.
Meta가 추천 모델 추론 시 발생하는 중복 데이터 복제 오버헤드를 제거하는 IKBO 기술을 공개했다.
Unsloth가 Blackwell GPU에서 Qwen3.6 모델의 추론 속도를 2.5배 향상시킨 NVFP4 양자화 모델을 출시했습니다.
llama.cpp의 sm-tensor 사용 시 발생하는 불필요한 정규식 재컴파일 문제를 해결하여 디코드 성능을 개선했습니다.
Flex-Forcing은 시간적 및 노이즈 제거 단계의 청킹을 통해 비디오 확산 모델의 생성 방식을 유연하게 전환한다.
NVIDIA B200 환경에서 GLM-5.2를 NVFP4 및 TP=4 설정을 통해 최적화하여 성능을 극대화하는 방법
NVIDIA가 추론 효율성을 대폭 개선한 MoE 기반의 Nemotron-3 Puzzle-75B 모델을 출시했다.
MiMo-V2.5 모델의 Hybrid SWA 구조를 활용해 KVCache 저장 공간과 연산량을 1/7 수준으로 절감하는 엔지니어링 최적화 기법을 소개한다.
소형 LLM을 활용해 RAG 컨텍스트의 68%를 제거하면서도 재현율 96%를 유지하는 기술을 소개한다.
입력 데이터에 따라 최적의 블록 크기를 예측하여 Diffusion 기반 Speculative Decoding의 효율을 극대화하는 기술을 제안함.
MoE 모델의 전문가 지역성을 고려한 ELDR 라우팅을 통해 디코드 지연시간을 최대 13.9% 단축함.
Manticore Search가 ONNX Runtime 백엔드를 도입하여 임베딩 추론 속도를 기존 대비 평균 14배 향상시켰다.
Cerebrium이 gVisor 기반 런타임에서 CPU 및 GPU 메모리 스냅샷 기술을 통해 AI 모델의 콜드 스타트 시간을 80% 이상 단축했다고 발표했다.
vLLM Semantic Router가 모델 API 계층에서 여러 모델을 협업시키는 마이크로 에이전트 런타임을 선보였다.
DeepSeek가 추측적 디코딩(Speculative Decoding)을 위한 모델 학습 및 평가 도구인 DeepSpec을 공개했다.
모델 호출 없이 프롬프트 구조를 분석하여 로컬과 클라우드 LLM으로 쿼리를 분배하는 라우터입니다.
DeepSeek이 추론 효율성을 극대화하여 생성 속도를 최대 85%까지 높이는 최적화 기술을 오픈소스로 공개했다.
NVIDIA가 생성 속도를 2.42배 높인 확산 기반 언어 모델 Nemotron-TwoTower-30B-A3B를 공개했습니다.