llmfit

数百种模型与提供商，一条命令即可找出你的硬件能运行哪些模型。

一款终端工具，根据你系统的 RAM、CPU 和 GPU 为 LLM 模型匹配合适规格。自动检测硬件，从质量、速度、适配度和上下文四个维度打分，告诉你哪些模型能在你的机器上流畅运行。

内置交互式 TUI（默认）和经典 CLI。支持多 GPU、MoE 架构、动态量化选择、速度估算，以及本地运行时提供商（Ollama、llama.cpp、MLX、Docker Model Runner、LM Studio）。

安装

Windows

scoop install llmfit

如果尚未安装 Scoop，请先按照 Scoop 官方文档安装。

macOS / Linux

Homebrew

brew install llmfit

快速安装

curl -fsSL https://llmfit.axjns.dev/install.sh | sh
curl -fsSL https://llmfit.axjns.dev/install.sh | sh -s -- --local

Docker / Podman

docker run ghcr.io/alexsjones/llmfit
podman run ghcr.io/alexsjones/llmfit recommend --use-case coding | jq '.models[].name'

从源码构建

git clone https://github.com/AlexsJones/llmfit.git
cd llmfit
cargo build --release

使用方法

TUI（默认）

llmfit

通过 `j/k`、`/`、`Esc`、`PgUp/PgDn`、`g/G` 完成搜索与导航。
使用 `f`、`a` 切换过滤器，使用 `s` 切换排序列。
使用 `d`、`r` 下载与刷新，使用 `m`、`c`、`x` 做模型对比。

类 Vim 模式

Normal 模式

默认模式，可浏览、搜索、过滤和打开视图。

Visual 模式（v）

选择连续模型区间，进入多模型对比。

Select 模式（V）

按列过滤提供商、参数量、量化、运行模式和用途。

TUI Plan 模式（p）

Plan 模式用于反向估算目标模型配置所需硬件，包括 VRAM/RAM 建议和可行运行路径。

主题

在 TUI 中按 `t` 可切换主题，主题设置自动持久化。

Web 仪表盘

使用 `llmfit dashboard` 打开 Web 仪表盘，查看推荐与模型筛选结果。

CLI 模式

llmfit --cli
llmfit system
llmfit search "llama 8b"
llmfit recommend --json --limit 5
llmfit fit --perfect -n 5

REST API（llmfit serve）

llmfit serve --host 0.0.0.0 --port 8787
curl http://localhost:8787/health
curl http://localhost:8787/api/v1/system
curl "http://localhost:8787/api/v1/models/top?limit=5&min_fit=good&use_case=coding"

GPU 显存覆盖

llmfit --memory=24G --cli
llmfit --memory=32G fit --perfect -n 10

估算上下文上限

llmfit --max-context 4096 fit --perfect -n 5
llmfit --max-context 8192 --cli

JSON 输出

llmfit recommend --json --use-case coding --limit 3
llmfit fit --json --perfect -n 5

工作原理

检测系统 RAM、CPU 核心、GPU VRAM 与运行时提供商可用性。
加载模型数据库和量化候选配置。
估算适配度、质量、速度和上下文，计算综合评分。
给出最优量化及运行模式（GPU / CPU+GPU / CPU / MoE 卸载）。

模型数据库

llmfit 内置模型数据库，并针对当前硬件实时计算评分与推荐结果。

项目结构

src/main.rs        -- CLI 参数解析、入口、TUI 启动
src/hardware.rs    -- RAM/CPU/GPU 检测
src/models.rs      -- 模型库与量化逻辑
src/fit.rs         -- 评分与速度估算
src/providers.rs   -- 运行时提供商集成
src/display.rs     -- CLI 表格 + JSON 输出
src/tui_app.rs     -- 状态与过滤器
src/tui_ui.rs      -- ratatui 渲染
src/tui_events.rs  -- 键盘事件处理
data/hf_models.json -- 模型目录

发布到 crates.io

cargo publish --dry-run
cargo login
cargo publish

发布前请确认版本号、LICENSE 文件、以及 data/hf_models.json 已提交。

依赖项

核心依赖包括 clap、sysinfo、serde、serde_json、tabled、colored、ureq、ratatui、crossterm。

运行时提供商集成

Ollama
llama.cpp
MLX
Docker Model Runner
LM Studio