AI Briefing#inference-optimization
#inference-optimization와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#inference-optimization와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
vllm-xtu-moe가 CPU-GPU 융합 실행으로 2×A100에서 748B MoE 추론을 지원한다.
LLM의 환각과 지연 문제를 해결하기 위해 한 번의 순전파로 확률 분포를 반환하는 Jev 호환 오픈 가중치 모델이다.
Qwen3-8B 기반 CLM-v0.1-8B 공개, 후보 행동 선택 속도 Jev 대비 최대 13배 향상
Liquid AI가 LFM2.5-VL-3B 추론을 최대 3.13배 가속하는 280M 파라미터 드래프트 모델을 공개했다.
CLM-8B는 상태와 행동을 분리 인코딩해 캐싱하며, 에이전트 코딩 벤치마크에서 SOTA를 달성했다.
Meta가 지연 시간 870ms의 실시간 아바타 생성 기술 Muse Realtime Avatar를 출시했다.
텍스트 생성 없이 LLM 간 KV-cache를 직접 연결해 지연을 줄이고 정확도를 높이는 C2C 프레임워크가 공개됐다.
Video Rebirth가 MiniMax-H3의 추론 단계를 49에서 8로 줄이는 데이터 프리 자기 증류 LoRA 'HyperFlow'를 오픈소스로 공개했다.
GLM-5.3 기반 Infra Agent가 10만 개 이상의 중국산 가속기 클러스터에서 GLM-5.3-Flash 추론 인프라를 2주 미만 만에 구축해 엔드투엔드 서빙 성능을 약 3배 높였다.
Pinterest가 3-Tower Engagement Co-Train 모델을 공개해 CTR 1% 상승과 P99 레이턴시 30ms 달성을 달성했다.
Apple 연구 블로그에 소개된 연구에서 이산 흐름 매칭의 궤적 품질을 개선하는 TS-DFM을 제안해, 8단계 추론으로 1,024단계 교사 모델 대비 퍼플렉시티를 32% 낮추고 속도는 128배 향상시켰다.
싱가포르국립대 등 연구진이 로봇 World-Action Model의 설계 변수를 비교하는 모듈형 스택 OpenWAM을 공개했다.
DeepSeek이 552B MoE 모델 V4.1-Flash를 공개해 V4-Pro를 대체하고 KV 캐시를 토큰당 890바이트로 최적화했다.
Pinterest가 NVIDIA Dynamo와 Blackwell GPU를 활용해 VLM 서빙 스택을 구축하고 TTFT를 85배 개선했다.
NVIDIA Dynamo가 비전 인코더를 분리해 멀티모달 LLM의 TTFT를 최대 93% 줄이는 서빙 아키텍처를 공개했다.
VDN-H3가 MiniMax H3에 하이브리드 어텐션을 적용해 영상 생성 속도를 최대 74배 높였으나 한국은 라이선스 제한으로 사용 불가하다.
vLLM이 AMD MI300X/MI355X GPU에서 Native MTP, EAGLE-3, DFlash 등 5가지 추측 디코딩 방식의 처리량과 최적 설정을 비교한 상세 벤치마크 결과를 공개했다.
언어 모델이 사고 과정 중 주의가 필요한 영역을 스스로 선언해 연산 비용을 최대 52% 줄이는 'Declarative Attention' 기법이 공개됐다.
GLM-OCR 모델에 Diffusion 초안 생성과 AR 검증 방식을 결합해 디코딩 구간 속도를 3.85배 높이는 기법을 공개했다.
Apple Silicon 특화 추론 엔진 Lily가 MLX-LM 대비 디코딩 속도 35% 향상과 높은 하드웨어 활용률을 달성했다.
llama.cpp의 Metal 및 n-gram SSD 오프로드 최적화 브랜치가 공개되어 Apple Silicon에서 Qwen-3.8-Flash-Next 추론 성능을 개선했다.