AI Briefing#inference-optimization
#inference-optimization와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#inference-optimization와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
Unsloth가 Qwen3.8-27B용 Dynamic v3.0 양자화 모델을 출시하며 정확도 향상을 입증했다.
vLLM 추론 성능을 진단하고 병목 지점을 찾아 최적화하는 오픈소스 도구 'Profile'이 출시되었습니다.
1-bit, 2-bit 및 Ternary 모델 등 저비트 양자화 모델의 최신 업데이트와 최적화된 추론 엔진 현황을 정리함.
llama.cpp에 출력 복잡도에 따라 MTP 깊이를 동적으로 조절하는 adaptive MTP 기능이 제안되었다.
Hadamard 회전과 Output-Fisher recovery를 결합해 Qwen 27B의 성능을 높인 3.62 bpw 양자화 기법 WarpQuant가 공개되었다.
Mixture-of-Experts(MoE) 설계를 통해 397B 파라미터 규모의 AI를 아이폰에서 로컬로 구동하는 데 성공했다.
LLM 비용 최적화를 위한 16개 이상의 라우터 라이브러리와 벤치마크인 LLMRouter 및 xRouteBench가 공개되었다.
Redis 개발자 antirez가 MiniMax H3 모델을 애플 실리콘에서 실행하는 C/Metal 기반 추론기 h3.c를 공개했다.
VIDRAFT 팀이 A10G에서 품질을 유지하며 Gemma 추론 속도를 510.58 TPS까지 끌어올렸다.
llama.cpp 오픈소스 프로젝트에 DSpark 기반의 추측 디코딩(Speculative Decoding) 기능이 추가되었습니다.
llama.cpp의 포크 버전인 CachyLLama가 SSD를 활용한 KV 캐싱으로 프롬프트 처리 속도를 혁신적으로 개선했다.
NVIDIA가 GPU-to-GPU RDMA를 활용해 모델 로딩 속도를 획기적으로 높인 ModelExpress를 공개했다.
LLM의 레이어를 동적으로 건너뛰거나 반복하여 추론 성능과 속도를 최적화하는 PoLar 기술이 제안되었습니다.
LLM 에이전트의 내부 표현을 활용해 코딩 컨텍스트를 효율적으로 최적화하는 SWE-Pruner Pro를 제안한다.
llama.cpp가 ROCm 환경에서 프롬프트 처리 속도를 15% 높이고 특정 양자화 버그를 해결하는 업데이트를 준비 중입니다.
LenVM은 토큰 단위로 남은 생성 길이를 예측하여 LLM의 추론 효율성과 성능을 최적화한다.
Netflix가 hosted API 대신 자체 LLM 서빙 인프라를 구축해 모델 배포부터 추론까지 전체 스택을 직접 운영한다.