AI Briefing#inference-optimization
#inference-optimization와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#inference-optimization와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
Shopify 등 유럽 리테일러가 NVIDIA 오픈 모델로 비용을 절감하고 운영을 최적화했다
TorchNeuron 퓨전이 Trainium에서 RMSNorm 지연 시간을 1/6로 줄였다
LES 기술로 6.07배 가속을 달성한 MiniCPM-V 4.7이 iPhone 18 Pro Max에서 20.51 tok/s를 기록했다.
MemT-1.0이 Gated DeltaNet-2로 메모리를 내재화해 기존 베이스라인을 능가했다
Specter가 양자화 기반 추측적 오프로딩으로 MoE 추론 속도를 1.50배 높였다
DeepSeek이 DeepInfer를 오픈소스로 공개하며 하루 155조 토큰 처리량을 달성했다
Helion vLLM 백엔드가 H100 일부 워크로드에서 10% 이상 처리량 향상을 달성했다
HybridAgents 프레임워크가 잠재적 추론과 텍스트 전환으로 성능 10.4% 향상과 비용 2.7~3.7배 절감을 달성했다.
사용자 프로그램(Inferlet)이 KV 캐시와 생성 루프를 직접 제어해 ReACT 등 에이전트 워크로드의 지연을 최대 15% 줄이는 오픈소스 LLM 서빙 시스템 'Pie' 공개.
ORL과 dlmrt로 dLLM이 RTX 5090에서 2,788 tokens/s를 달성했다.
llama.cpp의 GDN chunked kernel 도입으로 Qwen 추론 속도가 최대 20.6% 향상됐다.
배치 256 기준 SSM 커널 최대 1.8배, 배치 512 투기적 디코딩 처리량 최대 2.1배 향상
오픈소스 Project Maya가 GLM-5.3-Flash를 단일 RTX 5090 등에서 로컬 실행한다.
Stepped MoE 프레임워크가 1~4B 파라미터를 동적으로 지원하며 벤치마크에서 2~5% 성능을 개선했다.
AkbasCore MAM은 Mistral-7B에 수치 카트리지를 주입해 봉인 벤치마크에서 72/72 정확도를 달성했다.
0.8B Jeff 모델이 매 턴 사고 여부를 판단해 Qwen3.8-27B의 작업 시간을 32% 줄였다.
추가 학습 없이 루프 트랜스포머의 첫 반복 예측을 참조로 해 추론 정확도를 높이고 이론적 연산량을 최대 48.2%까지 줄이는 기법이다.
NVIDIA Blackwell GPU 기반 GPT-6 Astra Ultrafast가 API에 공개되어 토큰 생성 속도를 최대 8배 높였다.
연구진이 자체 컨텍스트 관리 모델 CLMs를 공개해 정확도를 높이고 연산량을 줄였다.
RelateAnything은 RTX 3080 Laptop GPU에서 TensorRT FP32 기준 이미지당 17.2ms의 추론 속도를 지원하며, 47만 4천여 장의 이미지와 430만 개의 관계를 포함한 RA-4M 학습 코퍼스를 공개했다.
PostHog가 추론 강화 모델 Jeeves를 공개해 JevBench에서 0.935점을 달성했다.