LLM 추론 스택 8종 기능 및 용도 비교

llama.cpp, TensorSharp, Ollama, MLX-LM, MLC LLM, vLLM, SGLang, TensorRT-LLM, TGI 등 주요 오픈소스 LLM 추론 스택의 기능과 타겟 워크로드를 비교 분석했다. 성능 순위가 아닌 적합성에 초점을 맞췄으며, 각 스택은 포터블 로컬 실행, GPU 클러스터 처리량, 모델 관리 등 서로 다른 목적을 가진다.

주요 스택별 특징

• llama.cpp: C/C++ 기반의 포터블 GGUF 추론 엔진으로, CPU부터 CUDA, Metal까지 광범위한 백엔드를 지원하며 로컬 추론의 기준점으로 평가된다.
• Ollama: Go 기반의 로컬 모델 설치 및 관리 도구로, llama.cpp와 달리 사용자 경험(UX)과 API 편의성에 중점을 둔다.
• vLLM & SGLang: 데이터센터 GPU 환경에서 다중 사용자를 위한 고처리량 서빙에 특화되어 있으며, 연속 배치와 PagedAttention/RadixAttention 등 고급 스케줄링 기능을 제공한다.
• TensorSharp: C#/.NET 애플리케이션 내부에 추론 기능을 직접 임베딩할 수 있도록 설계된 .NET 전용 스택이다.
• MLX-LM & MLC LLM: 각각 Apple Silicon 전용 최적화, 그리고 브라우저 및 모바일 등 이기종 하드웨어를 위한 컴파일 추론에 강점을 보인다.

워크로드별 선택 가이드

단일 사용자 데스크톱이나 오프라인 디바이스에서는 llama.cpp, Ollama, MLX-LM 등이 적합하며, 다중 동시 사용자 및 가속기 서버 환경에서는 vLLM이나 SGLang의 분산 및 배칭 기능이 필수적이다. 에이전트 구현 시에는 추론 엔진 자체보다 외부 오케스트레이션 프레임워크(LangGraph 등)와의 조합이 장기 실행 워크플로우 관리에 더 효과적이다. 벤치마크 수치는 프롬프트 길이, 양자화, 하드웨어 구성에 따라 크게 달라지므로 맥락 없는 단순 비교는 지양해야 한다.