llmfit: 내 PC 사양에 맞는 LLM 모델 골라주는 자동 매칭

RAM, CPU, GPU 사양을 자동으로 감지해 수백 개의 LLM 모델 중 내 컴퓨터에서 잘 돌아가는 모델을 골라준다. 메모리 적합성, 예상 속도, 품질, 컨텍스트 길이 네 가지 기준으로 모델을 점수화해 실제 실행 가능성을 판단할 수 있게 한다.

단순 추정이 아닌, 메모리 대역폭 모델과 실제 커뮤니티 측정 데이터를 기반으로 속도를 추정한다. 각 추정치에 사용된 입력값과 검증 명령을 함께 제공해 사용자가 직접 확인하고 검증할 수 있도록 설계됐다. Ollama, llama.cpp, MLX 등 다양한 로컬 런타임과 다중 GPU, MoE 아키텍처를 지원한다.

인터랙티브 TUI와 CLI 모드를 모두 제공한다. TUI에서는 하드웨어 사양과 모델 랭킹을 한눈에 보고 벤치마크를 실행할 수 있으며, CLI는 스크립트나 에이전트 연동을 위해 JSON 출력을 지원한다. 로컬에서 모델 다운로드부터 서비스까지의 과정을 터미널 안에서 처리할 수 있다.

로컬 LLM 환경을 구축하려 하지만 어떤 모델을 선택해야 할지 막막한 개발자에게 적합하다. 하드웨어 제약을 고려해 현실적인 모델을 추천받으려는 경우, 또는 CI/CD 파이프라인에 모델 적합성 검사를 자동화하고 싶은 상황에 활용할 수 있다.