AI Briefing#inference-optimization
#inference-optimization와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#inference-optimization와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
MoE 모델은 Speculative Decoding 기술을 적용했을 때 더 높은 추론 가속 효과를 얻는다.
FlashDrive는 자율주행 VLA 추론 전 과정을 최적화해 716ms를 159ms로 줄였다.
장기 문맥 추론을 위한 KV-cache 압축 기술인 Cartridges와 STILL의 오픈소스 재현 코드가 공개되었다.
OpenAI가 Cerebras와 협력하여 초당 1,000개 이상의 토큰을 생성하는 실시간 코딩 모델 GPT-5.3-Codex-Spark를 공개했다.
Overworld가 텍스트와 키보드/마우스로 실시간 제어가 가능한 비디오 확산 모델 Waypoint-1과 추론 라이브러리 WorldEngine을 공개했다.
OpenVINO와 Optimum Intel을 활용해 Intel CPU에서 VLM을 최적화하고 실행하는 방법을 안내한다.
Hugging Face transformers 라이브러리가 OpenAI gpt-oss 모델 지원을 위한 대규모 업데이트를 발표했다.
PyTorch의 AoT 컴파일을 활용해 ZeroGPU Spaces의 모델 추론 속도를 최대 1.8배 높이는 방법을 소개한다.
Diffusers와 PEFT를 사용하여 Flux 모델의 LoRA 추론 속도를 약 2.3배 향상시키는 최적화 방법을 공개했다.
NVIDIA NIM이 Hugging Face의 10만 개 이상의 LLM을 신속하고 안정적으로 배포할 수 있도록 지원한다.
vLLM의 chunked-prefill 전략에서 발생하는 긴 프롬프트의 큐 차단 문제를 분석하고 최적화 방안을 제시한다.
LLM 강화학습 시 추론 처리량과 데이터 품질 사이의 트레이드오프를 해결하는 PipelineRL이 공개되었다.
CPU 환경에서 기존 모델 대비 최대 400배 빠른 속도를 제공하는 정적 임베딩 모델과 학습 방법론이 공개되었다.
XLSCOUT가 Hugging Face와 협업하여 특허 및 지식재산권(IP) 분석에 최적화된 ParaEmbed 2.0을 출시했다.
Hugging Face가 Amazon SageMaker에서 임베딩 모델을 효율적으로 배포할 수 있는 전용 컨테이너를 정식 출시했다.
Intel Gaudi에서 Speculative Sampling 기반의 Assisted Generation을 지원하여 LLM 추론 속도를 최대 2배 높인다.
HuggingFace가 베이스 모델을 유지하며 LoRA 어댑터만 동적으로 교체하여 추론 속도를 300% 향상시켰다.
LCM LoRA를 통해 SDXL 모델을 별도의 재학습 없이 4~8단계의 적은 스텝만으로 빠르게 생성할 수 있다.