AI Briefing#vllm
#vllm와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#vllm와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
inclusionAI가 560B 파라미터의 하이브리드 추론 모델 Ling-3.1-flash를 공개했다.
Telperion이 Qwen3.8-27B의 KV 캐시 4배 압축 변형을 공개해 SWE 성능 6.58%를 개선했다.
배치 256 기준 SSM 커널 최대 1.8배, 배치 512 투기적 디코딩 처리량 최대 2.1배 향상
Flama 2.0이 OpenAI, Anthropic, Ollama 프로토콜을 동시에 지원하는 LLM 아키텍처 논문을 공개했다.
LMCache 취약점으로 코드 실행 가능, 10월 7일 기준 수정판 없음.
Graphsignal이 추론 엔진의 GPU 커널을 실시간으로 분석하는 graphsignal-top을 출시했다.
vLLM이 공개한 Decision 3.0 모델이 Jev Decision Index 텍스트와 비전 부문에서 1위를 차지했다.
Pinterest가 사용자 여정 추론에 4B LLM을 도입하고 기존 클러스터링은 폴백으로 유지하며 이메일 클릭률 1.1% 상승을 기록했다.
텐센트, OmniDocBench v1.6서 96.96점 기록한 5B 올모달 파싱 모델 Youtu-Parsing-Omni 공개
추측 디코딩은 연산량을 늘려 유휴 컴퓨트를 활용함으로써 LLM 추론을 가속화한다.
Aimee, Qwen 3.8과 Gemma4용 네이티브 메모리 플러그인 공개로 재학습 없이 지식 접근 가능하게 했다.
OvertChat이 셀프 호스팅 vLLM 배포를 위해 음성 및 에이전트 지원 기능을 통합해 공개했다.
Qwen3.8 27B의 3비트 가중치로 R9700에서 캐시 용량을 늘려 에이전트 속도를 높였다.
Prime이 프런티어 오픈 모델 서빙을 위한 Prime Inference를 출시했다.
Ray와 vLLM 기본 설정이 인증 없는 제어 포트 노출로 크로스 네임스페이스 공격에 취약한 것으로 드러났다.
vllm-xtu-moe가 CPU-GPU 융합 실행으로 2×A100에서 748B MoE 추론을 지원한다.
GLM-5.3-Flash가 파인튜닝 없이 Jev와 동등한 분류 성능을 달성했으나 비용과 지연은 더 높다.
vLLM이 H100에서 네이티브 대비 3.4% 이내 성능을 유지하며 다양한 가속기를 지원하는 하드웨어 독립적 계층을 도입했다.
vLLM의 rope_scaling 덮어쓰기 버그로 GSM8K 점수가 최대 28% 하락하는 현상을 검증하고 방지하는 오픈소스 도구 entail을 공개했다.
텍스트 생성 대신 후보군 중 최적 선택의 확률을 반환하는 6종의 오픈 웨이트 모델과 테스트용 Studio를 공개했다.
TextCLF가 캘리브레이션 불필요한 TQ 양자화 기법과 오픈소스 Quant Factory를 공개했다.
Quail이 단일 H100 GPU에서 분당 10억 토큰을 처리하며 vLLM 대비 10배 이상의 속도를 달성했다.