AI Briefing#llm-inference
#llm-inference와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#llm-inference와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
Speculative Decoding의 효율을 높이기 위해 모델링과 초안 작성을 분리하는 Domino 기술이 발표되었습니다.
DeepLearning.AI에서 vLLM을 활용한 효율적인 LLM 추론 최적화 과정을 공개했다.
예측 모델을 활용해 LLM의 KV 캐시를 최대 4배까지 무손실로 압축하는 Speculative KV coding 기술을 소개한다.
팔면체 매개변수화와 결합 양자화를 통해 트랜스포머의 KV Cache 압축 성능을 극대화한 OCTOPUS가 공개되었다.
llama.cpp UI에 모델의 추론 과정을 제어할 수 있는 Thinking mode 토글 기능이 추가되었습니다.
llama.cpp에 Stepfun AI의 Step-3.7-Flash 모델 지원을 위한 Pull Request가 제출되었습니다.
llama.cpp에서 logits 공간 예약 방식을 개선하여 VRAM 사용량을 절감하는 Pull Request가 제안되었습니다.
AI 에이전트의 핵심 지표인 단일 요청 디코딩 속도를 최적화하여 표준 GPU에서 초당 3,000 토큰의 속도를 달성하는 기술을 설명한다.
AMD MI300X에서 요청당 최대 3,300 tokens/s를 달성하는 LLM 추론용 모노커널 기술이 공개되었다.
llama.cpp에서 Flash Attention 시 f16 마스크를 사용하여 VRAM 사용량을 줄이는 최적화가 이루어졌습니다.
Zai가 ZCube 아키텍처 도입을 통해 GLM-5.1 추론 인프라의 비용을 33% 절감하고 처리량을 15% 높였다.
LG AI연구원이 vLLM 지표를 활용해 유휴 GPU를 연구 작업에 재활용하며 인프라 효율을 극대화했다.
TogetherAI가 추론 효율을 높이는 새로운 KV 캐시 양자화 기술인 OSCAR를 오픈소스로 공개했다.
llama.cpp에서 컨텍스트 변경 시 전체 프롬프트를 다시 처리하는 문제를 해결하기 위한 체크포인트 기능이 제안되었습니다.
AMD RDNA3 GPU 환경에서 Qwen 3.6 모델의 추론 성능을 극대화한 오픈소스 엔진 hipEngine이 공개되었다.
llama.cpp에서 비대칭 KV 캐시 양자화 사용 시 CUDA 가속이 제한되는 문제와 해결 방안이 논의되고 있다.
프리필 단계에는 공격적 양자화를, 디코딩에는 고정밀 방식을 적용해 효율을 높이는 Mix-Quant 연구 발표