AI Briefing#inference-speed
#inference-speed와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#inference-speed와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
Jeff v1.3이 Qwen 3.8-27B 코딩 작업을 47% 가속화하면서도 정확도를 유지했다.
지능 지수는 평균 이하이나, 유사 가격대 모델 대비 약 7배 빠른 출력 속도와 저렴한 비용을 제공한다.
기존 모델을 인과적 인코더-디코더 구조로 변환하는 모델 그래프팅 기법을 적용해 Qwen3.5-4B의 프롬프트 처리 속도를 최대 3.7배 높였다.
Kuleshov 연구팀이 병렬 생성으로 AR 모델의 속도 한계를 극복하는 확산 언어 모델(dLLM) 기술과 Mercury 2 등 상용화 현황을 정리했다.
연구자가 폐쇄형 모델 'Jev'에 대응하는 완전 오픈소스 의사결정 모델 'Laya'를 공개해 Jev 대비 6~8배 빠른 속도와 할루시네이션 차단을 달성했다.
IFM이 인과적 LLM에 확산 어댑터를 결합한 K2-Horizon-7B를 공개했으며, 최대 5200 tps의 추론 속도와 무손실 성능을 주장한다.
Cerebras가 공개 엔드포인트에서 Qwen 3.8 27B 모델을 초당 약 1,500토큰의 속도로 제공하기 시작했다.
Multiverse Computing이 Artificial Analysis 지수 43점으로 유럽 모델 중 최고 점수를 기록한 추론 모델 Quasar 438B를 공개했다.
llama.cpp가 F16C 인트린직을 활용한 벡터화로 프롬프트 처리 속도를 최대 31% 향상시켰습니다.
llama.cpp의 CUDA 커널 최적화를 통해 Bonsai 모델의 추론 속도를 약 5% 향상시켰습니다.
Hugging Face와 Cerebras가 Gemma 4를 활용해 초저지연 실시간 음성-대-음성(Speech-to-Speech) 기술을 선보였다.
Xiaomi가 TileRT와 협력하여 1조 개의 파라미터를 가진 모델에서 초당 1000토큰 이상의 생성 속도를 구현했다.
I-DLM은 introspective consistency로 DLM의 품질과 속도를 동시에 끌어올린다.
SDXL 모델의 추론 속도를 높이고 메모리 사용량을 줄이기 위한 fp16 적용 및 메모리 효율적 어텐션 활용법을 소개한다.