跑大模型需要多少显存?

选一个预设模型,或从 Hugging Face 加载任意模型,再设置量化精度、上下文长度和并发请求数,就能看到推理需要多少显存、哪些 GPU 装得下。所有计算都在浏览器中完成。

高级:模型参数与运行开销

修改其中任意一项,模型会切换为“自定义”。

– 预计显存占用

权重
–
KV cache
–
运行开销
–
每 token 的 KV cache
–

本估算中显示的 GB、MB、KB 分别表示 GiB、MiB、KiB(按 1,024 进位)。

按估算显存筛选 GPU

GPU显存结果
RTX 3060 12 GB –
RTX 4060 Ti 16GB 16 GB –
RTX 3090 / 4090 24 GB –
RTX 5090 32 GB –
A100 40GB 40 GB –
Mac,64 GB 统一内存 默认约 75% 可供 GPU 使用 48 GB –
L40S / RTX 6000 Ada 48 GB –
A100 / H100 80GB 80 GB –
Mac,128 GB 统一内存 默认约 75% 可供 GPU 使用 96 GB –
H200 141 GB –
B200 180 GB –

llama-server --fit 预览

不写 -c、-np 或 -ngl 时,llama-server 会自动定容(默认 --fit on):先按模型的完整训练上下文算,缩小上下文直到能留出 --fit-target(1024 MiB),仍放不下才把层移到 CPU。这里用上面的估算重放这几步。

--fit 会选

上下文(-c)
–
单个请求最长
–
槽位
4
GPU 层数(-ngl)
–
预计显存
–

    改用显式参数

    一个槽位、在给 mmproj 留出空间后能放下的最长上下文,以及定容会遵守的余量:

    llama-server -m model.gguf -c 8192 -np 1

    同样的设置写成环境变量(llama.cpp 为这些参数读取的变量):

    LLAMA_ARG_CTX_SIZE=8192 LLAMA_ARG_N_PARALLEL=1 LLAMA_ARG_FIT_TARGET=1024

    步骤来自 llama.cpp a6ea155(2026-09-29)的 common/fit.cpp、common/arg.cpp 和 tools/server/server.cpp。llama.cpp 会实际测量自己的缓冲区,所以数字和这里的估算略有差别;llama-fit-params --model model.gguf 会打印它实际会用的参数。

    把结果分享到你的网站

    复制一张静态 HTML 卡片,包含当前模型、精度、上下文和 GPU。来源链接可选,加上后会始终可见。卡片内容为英文。

    给模型卡片用的显存徽章

    所选模型在 8K 上下文下的静态显存徽章,可贴进 Hugging Face 或 GitHub 的 README,并链接到本站该模型的页面。徽章内容为英文。徽章使用说明(英文)。

    Qwen3.6 35B-A3B VRAM: 23.0 GB at Q4_K_M, 8K context

    装得下?接着看看它每秒能生成多少 token。

    首页的LLM 显存计算器使用同一套估算。

    要微调而不是推理?估算全参数微调、LoRA 和 QLoRA 所需显存。

    热门模型显存需求

    按 8,192 token 上下文、单个请求、FP16 KV cache 计算的总显存。点击模型名可进入它的独立页面(英文),查看所有量化精度、长上下文缓存和能装下的 GPU。

    你的 GPU 能跑什么?

    上表所有模型逐一对照单张显卡或 Mac:能装下的最佳精度、最长上下文和速度(英文页面)。

    一张表看全部 73 种 GPU、Mac 与纯 CPU 配置

    用 vLLM 部署服务?vLLM KV cache 计算器会算出启动时分配的缓存池有多少 token、能同时处理多少请求,并给出 vllm serve 命令。

    看看 8–96 GB 显存能跑哪些本地大模型(例如 24 GB),或在可复现的对比报告(英文)中比较各模型与 GPU 显存。这些数字也是开放数据集(CSV 与 JSON,CC BY 4.0)。所有精度的数据也发布在 GitHub 上的 CSV 文件中,可自由使用。不确定选哪种 GGUF?请看 GGUF 量化类型详解(英文);想在 8–16 GB 显卡上跑 Qwen3.8 27B,请看 Ternary Bonsai 2、GSQ-RCO 与 UD 量化对比。估算和实测差多少,见估算准确度:预测与实测对比;自己测过,欢迎在 GitHub 上提交实测(附原始日志行)。

    使用方法

    1. 选择模型,或输入 Hugging Face 模型 id(如 Qwen/Qwen3-8B)后点击“加载”。
    2. 选择打算使用的权重精度,比如 llama.cpp 常用 Q4_K_M,vLLM 常用 FP8。
    3. 设置上下文长度和同时处理的请求数。
    4. 查看总显存和 GPU 表格。展开“高级”可以查看或修改估算用到的每个数字。

    常见问题

    Qwen3.6 27B 在 Q4_K_M 下需要多少显存?

    8,192 token 上下文约需 18.3 GB,32,768 token 约需 19.9 GB(单个请求、FP16 KV 缓存);仅权重就占 15.7 GB。所以它能以 32K 上下文放进一张 24 GB 显卡,比如 RTX 3090 或 4090。

    大模型显存是怎么计算的?

    权重 = 参数量 × 每个权重的位数 ÷ 8。KV cache = 2 × 层数 × KV 头数 × 头维度 × 每个值的字节数 × token 数 × 请求数。运行开销 = CUDA 上下文 0.5 GB,再加上权重与缓存之和的 10%,用于激活值和显存碎片;这个 10% 可以在“高级”里修改。

    为什么上下文长度影响这么大?

    KV cache 随每个请求的每个 token 增长。Llama 3.1 8B 每个 token 需要 128 KB 的 FP16 缓存,所以一段 128K token 的对话要在权重之外再占 16 GB。改用 FP8 缓存可以减半。

    Qwen3-30B-A3B 这类 MoE 模型需要的显存更少吗?

    每个 token 只有少数几个专家参与计算,但所有专家都必须加载,所以权重显存取决于总参数量:Qwen3-30B-A3B 是 305 亿,而不是 30 亿。

    该选哪种 GGUF 量化?

    Q4_K_M 是最常用的默认选择,体积约为 BF16 的三分之一;Q5_K_M 和 Q6_K 保留更多质量,适合写代码和小模型;Q3_K_M 和 Q2_K 能让模型塞进更小的显存,但质量损失明显。本站的 GGUF 量化指南列出了每种类型的每权重位数和热门模型的体积。

    量化权重会让 KV cache 变小吗?

    不会。权重精度和 KV cache 精度是两个独立的设置,Q4 权重配 FP16 缓存时,缓存仍是完整大小。

    新架构是怎么处理的?

    架构数据来自模型配置或 GGUF 文件头,运行时细节参照推理引擎源码核对。多头潜在注意力(MLA,用于 DeepSeek V3、GLM-5.3、Kimi K3)每层每个 token 只缓存 576 个值,而不是完整的 K 和 V;DeepSeek V3.2 和普通 GLM-5 索引器会为每个 token 额外存一个 128 维的 FP8 key;GLM-5.3-Flash 则按 llama.cpp 5fc4f3c 的布局,以所选 KV 精度存储三组 128 维的数据。滑动窗口层只保留窗口内的内容:gpt-oss 有一半层的窗口是 128 个 token;Gemma 4 31B 的 60 层中有 50 层窗口为 1,024 个 token,其余 10 层缓存 4 个 512 维的头,同时充当 K 和 V。线性注意力层保存固定大小的状态,不会随上下文增长:Qwen3.8 27B 的 64 层中有 48 层,Kimi K3 的 93 层中有 69 层。DeepSeek V4 还会跨层共享并压缩缓存,计算器没有建模这一点,所以它的 KV 数字是上限。

    “原始格式”是什么意思?

    它直接使用模型在 Hugging Face 上的权重文件大小,所以即使是混合格式的检查点,比如 gpt-oss 的 MXFP4 专家,或 DeepSeek V4、MiMo V2.6 的 4-bit 专家,结果也和下载大小一致。

    显存估算准确吗?

    这是估算值。推理引擎会分配自己的缓冲区:vLLM 启动时会预留固定比例的显存,llama.cpp 启动时就按完整上下文分配缓存。请留出余量,尤其是这块 GPU 还要驱动显示器的时候。

    为什么本站的 llama-server 命令不写 -ngl 99?

    从 b7440 起,llama.cpp 会把没有手动设置的参数自动调整到能放进空闲显存(-fit,默认开启)。它保留你设置的 -c,自己决定放多少层到 GPU;但只要给 -ngl 写了数字,自动调整就会停止,llama.cpp 按这个层数加载,小显存卡可能因此显存不足。所以命令只设 -c,-ngl 保持默认的 auto。b6000 这类旧版本默认不把任何层放到 GPU,需要自己加 -ngl 99。纯 CPU 命令保留 -ngl 0,确保没有层放到 GPU。

    我输入的内容会被上传吗?

    计算在你的浏览器中进行。唯一的网络请求是加载模型时访问 Hugging Face。

    更多计算器

    更新于