#vllm

#vllm와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.

Qwen3.6-27B vLLM 도커, 118 TPS

Qwen3.6-27B를 vLLM Docker와 INT4·MTP 조합으로 2x 3090에서 초당 118토큰으로 구동했다.

·2·2026.04.27 22시

H100서 Gemma 4 E2B 우세

단일 H100 80GB 벤치마크에서 Gemma 4 E2B와 Qwen 3.6 A3B FP8의 우위가 확인됐다.

·1·2026.04.26 18시

H100 Qwen·Gemma 성능 비교

H100 단일 GPU 벤치에서 Gemma 4 E2B-it이 처리량과 TTFT 모두 가장 좋았다.

·2026.04.25 19시

vLLM에 Cohere MoE 추가

vLLM에 Cohere MoE 모델 지원 PR이 올라왔다.

·1·2026.04.25 01시

vLLM, Qwen Tool Calling 버그 수정

vLLM의 파서 오류로 인해 Qwen 모델의 Tool Calling 기능이 오작동하는 버그가 발견되었습니다.

·2026.04.24 18시

vLLM Recipes 개편 - 모델+하드웨어 조합별 설정을 딸각 한방으로

vLLM Recipes가 하드웨어별 서빙 설정과 명령어 생성을 지원하도록 개편됐다.

·2026.04.23 13시

Qwen3.6-27b로 채팅 UI 구축

Qwen 계열 모델로 Gemma-4-E4B용 채팅 UI를 약 8분 만에 만들었다.

·2·2026.04.23 11시

27B GGUF 공개

Unsloth가 Qwen3.6-27B GGUF와 실행 가이드를 공개했다.

·2026.04.22 23시

15B 슈퍼넷 공개

단일 체크포인트로 8개 프리셋을 바꾸며 최대 10.7배 빨라진다.

·1·2026.04.22 23시

Gemma-4 미세 조정 및 배포 시 주의사항

Gemma-4 모델의 미세 조정 및 배포 과정에서 발생하는 주요 기술적 이슈와 해결책을 정리했다.

·1·2026.04.19 07시

3090 2장 초가속

2x RTX 3090에서 vLLM Docker로 Qwen3.6 35B 4bit를 멀티유저용으로 돌렸다.

·1·2026.04.19 04시

Qwen 비교분석

Qwen 3/3.5와 HauhauCS·Heretic·Huihui를 비교한 벤치마크·안전성·텐서 분석을 공개했다.

·1·2026.04.18 10시

모델마다 승부 역전

동일한 FP8 조건 비교에서 Ironwood와 B200의 우위가 모델별로 뒤집혔다.

·1·2026.04.18 06시

MIG가 p95를 절반으로

A100 40GB에서 MIG가 공유 vLLM보다 보호 테넌트 p95를 크게 낮췄다.

·2026.04.18 04시

Qwen 3.6과 Agentic Coding (GitHub 저장소)

Qwen3.6은 에이전트 코딩과 사고 맥락 보존을 강화한 최신 Qwen 모델군이다.

·1·2026.04.17 09시

8x MI50에서 64 tok/s 피크

8x MI50 32GB에서 MiniMax M2.7 AWQ를 피크 64 tok/s로 돌린 벤치다.

·1·2026.04.17 02시

GRPO로 요약모델 강화

Qwen2.5-0.5B-Instruct를 Reddit 요약 태스크에 GRPO로 학습했다.

·1·2026.04.15 18시

Arc B70 난관

Arc B70에서 Qwen3.5-27B를 돌린 실전 벤치와 문제점을 공유했다.

·2026.04.15 07시

vLLM 병목추적

vLLM용 고해상도 CLI 프로파일러로 배칭·KV·캐시 문제를 잡는다.

·1·2026.04.15 05시

2026 vLLM 코리아 밋업

서울 밋업에서 vLLM이 LLM 서빙 표준 인프라로 커지는 흐름을 확인했다.

·2026.04.14 11시

LLM 추론의 비결정성 깨부수기

LLM 추론의 비결정성은 단순한 GPU 동시성이 아니라 요청 스케줄링에 더 가깝다.

·1·2026.04.14 09시

96GB면 122B 간다

96GB VRAM에선 Qwen 3.5 122B와 27B 사이가 실전 선택지로 정리됐다.

·2026.04.10 14시

122B 198t/s

2x RTX PRO 6000 Blackwell에서 Qwen3.5-122B를 198 tok/s로 검증했다.

·1·2026.04.10 09시

KV 캐시 압축을 위한 TriAttention (GitHub 저장소)

TriAttention은 삼각함수 기반 압축을 통해 정확도 손실 없이 KV 캐시를 10.7배 압축하고 처리량을 2.5배 향상시킨다.

·1·2026.04.08 09시