AI Briefing#llm-inference
#llm-inference와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#llm-inference와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
GLM-OCR 모델에 Diffusion 초안 생성과 AR 검증 방식을 결합해 디코딩 구간 속도를 3.85배 높이는 기법을 공개했다.
동일한 LLM을 사용하는 9가지 AI 코딩 하네스를 비교한 결과, 작업 성공률과 비용 효율성에서 최대 17배의 차이가 발생했다.
서버 없이 브라우저에서 WebGPU로 LLM을 구동하는 WebLLM이 OpenAI API 호환성을 지원하며 공개됐다.
NVIDIA가 양자화, 가지치기 등 6가지 최적화 기법을 통합한 Model Optimizer를 공개하여 vLLM, TensorRT-LLM 등 추론 엔진용 체크포인트 생성을 지원한다.
LLM 추론의 레이턴시와 처리량 트레이드오프를 관리하고 양자화, 추측 디코딩 등으로 효율적 프론티어를 확장하는 기술을 소개한다.
Alexia Jolicoeur-Martineau 연구팀이 슬라이딩 윈도우 어텐션과 어텐션 싱크를 결합해 선형 어텐션을 대체하는 논문을 공개했다.
vLLM v0.28.0은 Kimi-K3와 DeepSeek V4 모델에 대한 대규모 성능 최적화 및 추론 기능을 추가했다.
vLLM v0.28.0이 Kimi-K3와 DeepSeek V4를 위한 대규모 성능 최적화 및 새로운 추론 기능을 공개했다.
vLLM에서 Qwen3.8-Flash-Next의 temperature 0 비결정적 출력 문제를 sparse-attention kernel 수정으로 해결했다.
IST-DASLab이 GSQ와 RCO 기술을 적용해 기존 대비 성능을 크게 개선한 Qwen3.8-27B GGUF 모델을 공개했다.
Tontaube가 장문 생성과 저지연 추론에 특화된 2.9B 파라미터 오픈 소스 TTS 모델 TontaubeV1를 공개했다.
삼성전자가 Hot Chips 2026에서 메모리 내부 연산(PIM) 기술을 적용한 LPDDR5X 패키지를 공개하며 Llama 3.1 추론 속도를 3배 개선했다.
Ollama의 기본 컨텍스트 길이, 병렬 요청 수, 상주 모델 제한 설정이 메모리 사용량을 급증시켜 GPU 오프로드 실패의 주된 원인이 된다.
QUASAR QAT 알고리즘을 적용해 Qwen3.8-27B를 NVFP4로 양자화하여 BF16급 성능을 유지하는 체크포인트를 공개했다.
PCIe 스트리밍을 활용해 소비자용 GPU에서 대규모 MoE LLM을 실행하는 오픈소스 엔진 LayerStoRm이 공개됐다.
HBF가 LLM 인퍼런스의 DRAM 용량 문제를 해결할 잠재적 대안으로 논의됨
llama-cpp-turboquant에 ConvRot 양자화 방식이 추가되어 Q6 양자화 모델의 품질이 Q8 수준에 근접했다.
PagedAttention은 가상 메모리 개념을 적용해 LLM 추론 시 KV 캐시 메모리 낭비를 크게 줄인다.
LFM2.5 모델에 DSpark 스펙ulative decoding 적용으로 GPU 및 온디바이스 추론 속도 최대 3.2배 향상.
AirLLM이 희소 MoE 모델 스트리밍으로 Kimi K3(2.8T)를 4GB VRAM에서 구동 가능하게 업데이트했다.