2026 vLLM 코리아 밋업

vLLM KR Community가 주최하고 Rebellions, SqueezeBits, Red Hat APAC, PyTorch Korea가 지원한 2026 vLLM Korea Meetup이 4월 2일 서울에서 열렸다. 현장 참여도 높았고, 사후 설문 응답률도 약 **75%**에 달해 기술 공유와 커뮤니티 경험이 모두 강하게 작동했다.

행사의 핵심 메시지는 분명했다. LLM 서빙은 더 이상 특정 프레임워크를 고르는 문제가 아니라, 다양한 모델과 하드웨어를 안정적으로 운영하는 인프라 문제로 바뀌고 있었다.

개막 세션에서는 Rebellions의 Hongseok Kim과 Red Hat APAC의 Li Ming이 vLLM 프로젝트와 커뮤니티의 최신 흐름을 소개했다.

• vLLM KR 커뮤니티는 지난 6개월 동안 Steering Group 중심 운영, 정기 밋업, 실습 워크숍으로 구조를 잡아왔다.
• 기술적으로는 v0에서 v1으로의 완전한 아키텍처 이전이 진행되며 코드베이스 단순화와 모듈성이 강화됐다.
• 내부적으로는 async scheduling, Model Runner 개선이 이뤄졌고, streaming API, semantic router, vLLM-Omni 같은 기능이 빠르게 늘었다.

하드웨어 연동 파트에서는 vLLM과 AI accelerator의 결합 방향이 제시됐다. Rebellions는 자사 NPU를 vLLM 생태계에 넣기 위한 vllm-rbln 플러그인을 개발 중이며, paged attention과 continuous batching은 이미 지원하고 있다. 앞으로는 speculative decoding, distributed KV cache, prefill/decode disaggregation을 추가해 Rebel100™ 같은 차세대 NPU 기반 대규모 inference cluster까지 염두에 두고 있다.

같은 세션에서 Li Ming은 진입 장벽을 낮추기 위한 vllm-playground를 소개했다. 140개가 넘는 설정 파라미터 때문에 어려웠던 초기 사용 경험을 GUI로 완화하고, CPU와 macOS 환경에서도 실험할 수 있게 했으며, 성능 시각화까지 제공한다.

오후 세션에서는 vLLM production stack을 둘러싼 현재와 미래가 다뤄졌다. 메시지는 하나였다. vLLM은 단순한 모델 서빙 엔진을 넘어, 실제 운영 환경에 필요한 기능과 확장성을 계속 흡수하고 있었다.

중반 이후에는 두 개의 트랙으로 나뉘어 실전 사례가 이어졌다.

• Track 1: vLLM with Open Source

  • XCENA의 Juho Lee는 LLM 서빙을 본질적으로 cluster efficiency problem으로 정의하며, KV cache 저장과 재사용 방식이 성능과 비용을 동시에 결정한다고 설명했다.
  • LMCache를 통한 KV cache tiering과 routing, 그리고 CXL memory를 대용량 cache 확장 계층으로 쓰는 접근이 제시됐다.
  • Upstage의 Inseo Song은 오픈소스 모델을 실제 서비스로 전환하는 과정에서 Chat Templates, token-level state parsing, parsers, logits processors를 어떻게 활용하는지 공유했다. 핵심은 “좋은 모델 만들기”보다 “안정적으로 서빙하기”가 더 어려운 문제라는 점이었다.

• Track 2: vLLM in Business

  • Samsung Electronics의 Sungsu Kim은 민감한 데이터를 다루는 기업 환경에서 보안이 최우선이라고 강조했다. 외부 SaaS 모델을 쓰지 못하는 상황에서 내부 GPU 인프라와 air-gapped closed network를 기반으로 private LLM API를 구축했고, 이를 OpenWebUI, OpenAI-compatible APIs, Dify, Claude Code로 연결해 4,000명 이상이 사용 중이라고 소개했다.
  • NAVER Cloud의 Jaeeun Gil은 HyperCLOVA Omni 서빙 사례를 공유했다. 텍스트, 이미지, 오디오를 함께 다루는 omni-modal 모델은 구조적으로 이질적이어서 기존 방식으로는 효율적인 서빙이 어렵고, 이를 위해 disaggregated serving architecture를 적용했다. 분석 결과 vision decoder가 전체 지연의 대부분을 차지하는 병목으로 드러났고, sequence parallelism과 kernel 최적화로 3배 이상의 성능 개선을 달성했다.

마지막으로 참석자들은 기술 중심으로 준비된 행사라는 점, 그리고 vLLM 생태계의 밀도와 활력을 높게 평가했다. 하드웨어 벤더, 클라우드 사업자, AI 서비스 기업, 엔드 유저가 모두 vLLM을 중심으로 전략을 짜는 흐름이 뚜렷해졌고, 이번 밋업은 그 변화를 현장감 있게 보여줬다.