whichllm - 내 하드웨어에서 실제로 돌아가고 최고 성능을 내는 로컬 LLM 찾기

whichllm은 파라미터 수에 의존하지 않고 실측 벤치마크를 기반으로 사용자 하드웨어에 최적화된 로컬 LLM을 추천하는 CLI 도구입니다.

주요 특징 및 기능

• 하드웨어 자동 감지 및 지원: NVIDIA, AMD, Apple Silicon, CPU 환경을 모두 지원하며 GPU, CPU, RAM 사양을 자동으로 인식합니다.
• 다중 벤치마크 통합 랭킹: LiveBench, Chatbot Arena ELO, Open LLM Leaderboard 등 다양한 지표를 통합하여 실제 성능이 가장 뛰어난 모델을 우선순위로 제시합니다.
• 지능형 모델 검증: 최신 모델을 우선시하는 Recency-aware 기능과 모델 계보를 추적해 허위 점수를 차단하는 신뢰도 디스카운트 시스템을 갖추고 있습니다.
• 정밀한 자원 및 속도 추정: VRAM 사용량(KV 캐시, 활성화 값 포함)과 메모리 대역폭을 고려한 추론 속도를 아키텍처 기반으로 예측합니다.
• 원스톱 워크플로우: whichllm run 명령으로 모델 다운로드부터 대화형 채팅까지 즉시 실행 가능하며, uv를 통한 격리 환경과 다양한 양자화 포맷(GGUF, AWQ 등)을 지원합니다.
• 하드웨어 시뮬레이션: 특정 GPU를 가상으로 설정하여 구매 전 성능을 확인하거나, 특정 모델 구동에 필요한 하드웨어를 역조회하는 기능을 제공합니다.