LLM 显存计算器:你的模型需要多少显存?

根据 Hugging Face 上的真实配置和权重文件,估算任意模型的显存占用、每秒生成 token 数和 MoE 专家卸载方案。

高级:模型参数与运行开销

修改其中任意一项,模型会切换为“自定义”。

– 预计显存占用

权重
–
KV cache
–
运行开销
–
每 token 的 KV cache
–

本估算中显示的 GB、MB、KB 分别表示 GiB、MiB、KiB(按 1,024 进位)。

按估算显存筛选 GPU

GPU显存结果
RTX 3060 12 GB –
RTX 4060 Ti 16GB 16 GB –
RTX 3090 / 4090 24 GB –
RTX 5090 32 GB –
A100 40GB 40 GB –
Mac,64 GB 统一内存 默认约 75% 可供 GPU 使用 48 GB –
L40S / RTX 6000 Ada 48 GB –
A100 / H100 80GB 80 GB –
Mac,128 GB 统一内存 默认约 75% 可供 GPU 使用 96 GB –
H200 141 GB –
B200 180 GB –

把结果分享到你的网站

复制一张静态 HTML 卡片,包含当前模型、精度、上下文和 GPU。来源链接可选,加上后会始终可见。卡片内容为英文。

给模型卡片用的显存徽章

所选模型在 8K 上下文下的静态显存徽章,可贴进 Hugging Face 或 GitHub 的 README,并链接到本站该模型的页面。徽章内容为英文。徽章使用说明(英文)。

Qwen3.6 35B-A3B VRAM: 23.0 GB at Q4_K_M, 8K context

装得下?接着看看它每秒能生成多少 token。

要微调而不是推理?估算全参数微调、LoRA 和 QLoRA 所需显存。

热门模型显存需求

按 8,192 token 上下文、单个请求、FP16 KV cache 计算的总显存。点击模型名可进入它的独立页面(英文),查看所有量化精度、长上下文缓存和能装下的 GPU。

全部 69 个模型 →

用 vLLM 部署服务?vLLM KV cache 计算器会算出启动时分配的缓存池有多少 token、能同时处理多少请求,并给出 vllm serve 命令。

看看 8–96 GB 显存能跑哪些本地大模型(例如 24 GB),或在可复现的对比报告(英文)中比较各模型与 GPU 显存。这些数字也是开放数据集(CSV 与 JSON,CC BY 4.0)。所有精度的数据也发布在 GitHub 上的 CSV 文件中,可自由使用。不确定选哪种 GGUF?请看 GGUF 量化类型详解(英文);想在 8–16 GB 显卡上跑 Qwen3.8 27B,请看 Ternary Bonsai 2、GSQ-RCO 与 UD 量化对比。估算和实测差多少,见估算准确度:预测与实测对比;自己测过,欢迎在 GitHub 上提交实测(附原始日志行)。

免费 · 无需注册 · 在浏览器中运行

个模型有独立页面
69
种 GPU 与 Mac 配置
73
种权重精度
13

让浏览器识别你的 GPU,看看电脑能跑什么。也可以看看 8–96 GB 显存能跑哪些本地大模型、大模型显存统计,或下载开放的显存数据集(CSV 与 JSON)。估算与实测差多少,见估算准确度。

按显存查最佳本地大模型: 8 GB、12 GB、16 GB、24 GB、32 GB、48 GB、96 GB

计算器

几个专注的小工具,共用同一套公式和模型数据。