LLM 显存计算器:你的模型需要多少显存?
根据 Hugging Face 上的真实配置和权重文件,估算任意模型的显存占用、每秒生成 token 数和 MoE 专家卸载方案。
高级:模型参数与运行开销
修改其中任意一项,模型会切换为“自定义”。
– 预计显存占用
- 权重
- –
- KV cache
- –
- 运行开销
- –
- 每 token 的 KV cache
- –
本估算中显示的 GB、MB、KB 分别表示 GiB、MiB、KiB(按 1,024 进位)。
按估算显存筛选 GPU
| GPU | 显存 | 结果 |
|---|---|---|
| RTX 3060 | 12 GB | – |
| RTX 4060 Ti 16GB | 16 GB | – |
| RTX 3090 / 4090 | 24 GB | – |
| RTX 5090 | 32 GB | – |
| A100 40GB | 40 GB | – |
| Mac,64 GB 统一内存 默认约 75% 可供 GPU 使用 | 48 GB | – |
| L40S / RTX 6000 Ada | 48 GB | – |
| A100 / H100 80GB | 80 GB | – |
| Mac,128 GB 统一内存 默认约 75% 可供 GPU 使用 | 96 GB | – |
| H200 | 141 GB | – |
| B200 | 180 GB | – |
装得下?接着看看它每秒能生成多少 token。
要微调而不是推理?估算全参数微调、LoRA 和 QLoRA 所需显存。
热门模型显存需求
按 8,192 token 上下文、单个请求、FP16 KV cache 计算的总显存。点击模型名可进入它的独立页面(英文),查看所有量化精度、长上下文缓存和能装下的 GPU。
| 模型 | 参数量 | 原始格式 | Q8_0 | Q4_K_M | Q4_K_M 可运行于 |
|---|---|---|---|---|---|
| Gemma 4 26B-A4B (MoE) | 25.8B | 53.9 GB (BF16) | 29.1 GB | 17.0 GB | RTX 3090 |
| Gemma 4 31B | 31.3B | 66.6 GB (BF16) | 36.5 GB | 21.9 GB | RTX 3090 |
| Qwen3.8 27B | 27.8B | 58.0 GB (BF16) | 31.3 GB | 18.3 GB | RTX 3090 |
| gpt-oss-20b | 20.9B | 14.8 GB (MXFP4) | 23.5 GB | 13.7 GB | RTX 4060 Ti 16GB |
| Llama 3.1 8B | 8.0B | 18.1 GB (BF16) | 10.3 GB | 6.58 GB | RTX 4060 8GB |
| gpt-oss-120b | 116.8B | 67.7 GB (MXFP4) | 128 GB | 73.2 GB | A100 80GB |
| Qwen3.6 35B-A3B (MoE) | 36.0B | 74.3 GB (BF16) | 39.8 GB | 23.0 GB | RTX 3090 |
| Qwen3.6 27B | 27.8B | 58.0 GB (BF16) | 31.3 GB | 18.3 GB | RTX 3090 |
| Gemma 4 12B | 12.0B | 25.7 GB (BF16) | 14.2 GB | 8.57 GB | RTX 3060 12GB |
| GLM-4.7 Flash | 31.2B | 64.9 GB (BF16) | 34.9 GB | 20.3 GB | RTX 3090 |
| Qwen3.8 Flash Next (180B MoE) | 180.0B | 370 GB (BF16) | 197 GB | 112 GB | DGX Spark (128 GB) |
| Nemotron 3 Nano 30B-A3B (MoE) | 31.6B | 65.3 GB (BF16) | 34.9 GB | 20.1 GB | RTX 3090 |
用 vLLM 部署服务?vLLM KV cache 计算器会算出启动时分配的缓存池有多少 token、能同时处理多少请求,并给出 vllm serve 命令。
看看 8–96 GB 显存能跑哪些本地大模型(例如 24 GB),或在可复现的对比报告(英文)中比较各模型与 GPU 显存。这些数字也是开放数据集(CSV 与 JSON,CC BY 4.0)。所有精度的数据也发布在 GitHub 上的 CSV 文件中,可自由使用。不确定选哪种 GGUF?请看 GGUF 量化类型详解(英文);想在 8–16 GB 显卡上跑 Qwen3.8 27B,请看 Ternary Bonsai 2、GSQ-RCO 与 UD 量化对比。估算和实测差多少,见估算准确度:预测与实测对比;自己测过,欢迎在 GitHub 上提交实测(附原始日志行)。
免费 · 无需注册 · 在浏览器中运行
- 个模型有独立页面
- 69
- 种 GPU 与 Mac 配置
- 73
- 种权重精度
- 13
让浏览器识别你的 GPU,看看电脑能跑什么。也可以看看 8–96 GB 显存能跑哪些本地大模型、大模型显存统计,或下载开放的显存数据集(CSV 与 JSON)。估算与实测差多少,见估算准确度。
计算器
几个专注的小工具,共用同一套公式和模型数据。
- LLM 速度计算器 根据显存带宽和激活参数,估算模型在你的 GPU 或 Mac 上每秒生成多少 token。 打开 →
- 微调显存计算器 Transformers 或 Unsloth 中全参数微调、LoRA、QLoRA 需要的显存,并与公开实测对比。 打开 →
- Qwen-Image-2.1 显存计算器 DiT、文本编码器和 VAE 各种组合的峰值显存,附真实显卡实测数据。 打开 →
- 图像与视频模型显存计算器 FLUX.2、Wan 2.2、LTX-2 和 Qwen-Image 在 ComfyUI 中的峰值显存与系统内存,按精确文件大小计算,并与公开实测核对。 打开 →
- MiniMax H3 显存计算器
(ComfyUI) MiniMax H3 视频在 ComfyUI 中的显存与系统内存:剪枝版、INT8、NVFP4 和 GGUF 文件在 8–96 GB 显卡上的表现。 打开 → - 投机解码显存计算器
(MTP 与草稿模型) llama.cpp 中 MTP 头、DFlash 草稿模型和小草稿模型额外占用的显存,适用于 Qwen3.8 27B 和 Gemma 4 31B。 打开 → - MoE 卸载计算器
(--n-cpu-moe) 根据 GGUF 真实张量大小,找出能装进你显卡的最小 llama.cpp --n-cpu-moe。 打开 → - Qwen3.8 27B 新 GGUF 量化:Bonsai 2、GSQ-RCO 与 UD 对比 Qwen3.8 27B 的 Ternary Bonsai 2、GSQ-RCO 与 Unsloth UD 文件:显存、质量、速度,以及各自需要的推理引擎。 打开 →
- vLLM KV cache 与并发计算器 vLLM 分配的 KV cache 池有多少 token、能同时处理多少请求,并给出 vllm serve 命令。 打开 →
- Bonsai 2 27B 显存需求 Ternary Bonsai 2 27B 各文件的真实大小、8–24 GB 显卡能开的最长上下文,以及 5.95 GB 与 8.60 GB 两种说法的来源。 打开 →
- 可本地运行的 Jev 替代品 只有 API 的 Jev 在本地的开源替代:Laya、零样本分类编码器和小型 LLM,附文件大小与显存。 打开 →
- Laya 显存需求 Laya 决策编码器三个模型的真实文件大小、运行内存,以及 PyTorch、ggmlc、llama.cpp 三种运行方式。 打开 →
- 我的电脑能跑什么? 在浏览器里识别你的 GPU,列出它能跑的本地大模型,以及最佳量化和速度。 打开 →
以下模型页和 GPU 页目前只有英文版。