AI Briefing#llm-inference
#llm-inference와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#llm-inference와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
Apple Silicon에서 ANE와 GPU를 병렬로 활용해 LLM Prefill 속도를 최대 50%까지 향상시키는 기술이 공개되었습니다.
llama.cpp가 기존 빌드 번호 방식 대신 시맨틱 버저닝을 도입하며 v0.1.0 버전을 출시했다.
NVIDIA GB300 NVL72 환경에서 Qwen 3.8 2.4T 모델이 초당 288,000 토큰의 처리량을 달성했다.
bitsandbytes 개발자 Tim Dettmers가 새로운 양자화 방법론을 예고하며 높은 추론 성능을 제시했다.
Unsloth가 로컬 모델 실행·학습·에이전트 기능을 통합한 Desktop 베타를 출시했다.
Apple Silicon macOS VM에서 Metal 호환성 계층으로 llama.cpp 추론 속도를 최대 16배 높였다.
ARBITRAGE가 모델 우위를 예측해 수학 추론 latency를 최대 2배 줄였다.
Diffusion 언어 모델은 병렬 생성이 가능하지만 긴 문맥과 배치 처리에서 한계를 보였다.
DiffusionGemma가 Gemma 4를 이산 확산 모델로 개조해 H100에서 1,500TPS를 달성했다.
BTB가 반복 프리픽스 버스트를 예측해 KV 캐시를 GPU HBM에 선제 복제한다.
Manifest가 7,000개 클라우드 사용자 경험을 바탕으로 LLM router를 폐기했다.
WASTE가 64GB MacBook Pro에서 2.78T Kimi K3를 디스크 스트리밍으로 실행했다.
3진 계열 포맷을 학습 단계부터 적용하여 효율을 극대화한 Neutrino-1 모델군이 공개되었습니다.
FP8 수준의 성능을 유지하면서 용량을 획기적으로 줄인 2-bit Qwen3.6-35B-A3B 모델과 전용 런타임이 공개되었습니다.
AI Gateway가 모델별로 낮은 지연 시간과 높은 처리량을 제공하는 통합 Fast Mode를 베타 버전으로 출시했다.
여러 모델을 동시에 실행하여 최적의 모델을 빠르게 선택함으로써 추론 비용을 절감하는 라우터 서비스가 출시되었습니다.