16 GB 显存最佳本地大模型

单张 16 GB 显卡、Q4_K_M、32K 上下文下,最大的稠密模型是 Gemma 4 12B(12.0B,9.0 GB,在一张 RTX 5060 Ti 16GB 上约 29–40 token/s);最大的 MoE 是 gpt-oss-20b(总参数 20.9B、激活 3.6B,MXFP4,15.4 GB,约 40–68 token/s);占用 8 GB 以上的模型中,上下文最长的是 Gemma 4 12B(完整 256K 上下文占 12.8 GB);Q8_0 下最大的是 Gemma 4 12B(12.0B,14.6 GB)。

更新于 (本页所列模型中最近一次数据核对的日期),共 69 个模型。按显存和参数量排序,不是质量排名。总显存 = 权重 + FP16 KV 缓存(单个请求)+ 0.5 GB + 10% 开销;GB = GiB。显卡上至少还剩 0.5 GB 才算能放进,与 Can I run it? 页面(英文)一致。速度是在一张 RTX 5060 Ti 16GB(448 GB/s)上、32K 上下文已填满时的带宽估算,不是实测。不确定显存大小?让浏览器识别你的 GPU。

gpt-oss-20b 按发布格式 MXFP4 列在 Q4_K_M 表中,不列入 Q8_0 表:它的 GGUF 量化版本同样以 MXFP4 保存专家权重,各类型大小相近。

16 GB 显存的首选模型

类别 模型 总参数 激活参数 显存 token/s(RTX 5060 Ti 16GB) GPQA(自报)
最大稠密模型(Q4_K_M) Gemma 4 12B 12.0B 稠密 9.0 GB 29–40 78.8
最大 MoE(MXFP4) gpt-oss-20b 20.9B 3.6B 15.4 GB 40–68 71.5
8 GB 以上模型中最长上下文(Q4_K_M) Gemma 4 12B 12.0B 稠密 256K(完整),12.8 GB 29–40 78.8
Q8_0 下最大 Gemma 4 12B 12.0B 稠密 14.6 GB 17–24 78.8

GPQA 是研究生水平的科学选择题(四选一,瞎猜约 25%)。分数由各厂商在自家模型卡或技术报告中自报,点击数字可查看来源(2026-09-30 读取),本站没有重跑;推理强度、是否用工具等设置各家不同,相差几分说明不了什么。— 表示厂商没有公布。31 个模型有此分数。

16 GB 显存最好的本地大模型是什么?

按规模算,单张 16 GB 显卡在 Q4_K_M、32K 上下文下能放下的最大模型是 gpt-oss-20b(MoE,总参数 20.9B、激活 3.6B,MXFP4,15.4 GB,剩余 0.6 GB);我们收录的 69 个模型中有 20 个能放进。本页按显存和参数量排序,不按跑分排序;表中的 GPQA 一栏是各厂商在自家模型卡上自报的分数,仅供参考。gpt-oss-20b 按其发布格式 MXFP4 计算:它的 GGUF 量化版本同样以 MXFP4 保存专家权重,大小与 MXFP4 相近。

16 GB 显存能跑 70B 模型吗?

单卡不行:Llama 3.1 70B(70.6B)在 Q4_K_M、32K 上下文下需要 55.2 GB,或用 4 张 16 GB 显卡组成张量并行,即使用 IQ3_XXS 也要 41.3 GB。

逐步计算见 Llama 3.1 70B 显存页(英文)。

16 GB 显存上,Q8_0 和更大的模型哪个更好?

单张 16 GB 显卡、32K 上下文下,Q8_0 能放下的最大模型是 Gemma 4 12B(12.0B,14.6 GB,约 17–24 token/s),Q4_K_M 则是 gpt-oss-20b(MoE,总参数 20.9B、激活 3.6B,MXFP4,15.4 GB,约 40–68 token/s),总参数是前者的 1.7 倍。Q8_0 每个权重约 8.5 位,Q4_K_M 约 4.84 位;我们的数据只覆盖显存和速度,不评测输出质量,所以这里不给两者打分。

各 GGUF 类型的位数与取舍见 GGUF 量化类型详解(英文)。

能放进 16 GB 的最新模型

按模型数据加入或核对的日期排序,最新在前(Q4_K_M、32K 上下文)。新加入的模型会自动出现在这里。

模型 加入/核对 总参数 激活参数 显存 (GB) token/s GPQA(自报)
LightOnOCR-3 4B 4.5B 稠密 4.41 59–84 —
LensVLM 9B 9.4B 稠密 7.43 35–48 —
Ornith 1.0 9B 9.4B 稠密 7.43 35–48 —
Granite 4.2 8B 8.8B 稠密 11.45 22–31 64.14
Granite 4.2 3B 3.7B 稠密 5.52 47–66 54.8
Spark-X2.5 4B 4.1B 稠密 4.40 59–84 67.4
Ling 3.0 Tiny 7.9B-A1.3B (MoE) 7.9B 1.3B 5.62 111–199 —
LFM2.5 8B-A1B (MoE) 8.5B 1.5B 6.16 89–158 —

Q4_K_M 下能放进 16 GB 的全部 20 个模型

模型 总参数 激活参数 显存 (GB) 剩余 (GB) token/s GPQA(自报) 计算器
gpt-oss-20b MXFP4 20.9B 3.6B 15.44 0.56 40–68 71.5 打开
Gemma 4 12B 12.0B 稠密 8.98 7.02 29–40 78.8 打开
ZDTaichu 5.0 9B 9.8B 稠密 7.67 8.33 33–47 — 打开
Ornith 1.5 9B 9.7B 稠密 7.58 8.42 34–47 86.4 打开
Qwen3.5 9B 9.7B 稠密 7.58 8.42 34–47 81.7 打开
LensVLM 9B 9.4B 稠密 7.43 8.57 35–48 — 打开
MiMo V2.6 Distill Qwen 9B 9.4B 稠密 7.43 8.57 35–48 — 打开
Ornith 1.0 9B 9.4B 稠密 7.43 8.57 35–48 — 打开
Granite 4.2 8B 8.8B 稠密 11.45 4.55 22–31 64.14 打开
LFM2.5 8B-A1B (MoE) 8.5B 1.5B 6.16 9.84 89–158 — 打开
Qwen3 8B 8.2B 稠密 10.53 5.47 24–34 — 打开
Llama 3.1 8B 8.0B 稠密 9.88 6.12 26–36 30.4 打开
Gemma 4 E4B 8.0B 稠密 6.05 9.95 43–60 58.6 打开
Ling 3.0 Tiny 7.9B-A1.3B (MoE) 7.9B 1.3B 5.62 10.38 111–199 — 打开
LightOnOCR-3 4B 4.5B 稠密 4.41 11.59 59–84 — 打开
Spark-X2.5 4B 4.1B 稠密 4.40 11.60 59–84 67.4 打开
Nemotron 3 Nano 4B 4.0B 稠密 3.51 12.49 74–108 53.2 打开
Granite 4.2 3B 3.7B 稠密 5.52 10.48 47–66 54.8 打开
MiniCPM5 2B 2.5B 稠密 3.50 12.50 75–108 — 打开
Limite 1B Violetto 1.0B 稠密 1.62 14.38 168–266 — 打开

Q8_0 下能放进 16 GB 的全部 18 个模型

模型 总参数 激活参数 显存 (GB) 剩余 (GB) token/s GPQA(自报) 计算器
Gemma 4 12B 12.0B 稠密 14.58 1.42 17–24 78.8 打开
ZDTaichu 5.0 9B 9.8B 稠密 12.26 3.74 21–29 — 打开
Ornith 1.5 9B 9.7B 稠密 12.11 3.89 21–29 86.4 打开
Qwen3.5 9B 9.7B 稠密 12.11 3.89 21–29 81.7 打开
LensVLM 9B 9.4B 稠密 11.84 4.16 22–30 — 打开
MiMo V2.6 Distill Qwen 9B 9.4B 稠密 11.84 4.16 22–30 — 打开
Ornith 1.0 9B 9.4B 稠密 11.84 4.16 22–30 — 打开
LFM2.5 8B-A1B (MoE) 8.5B 1.5B 10.13 5.87 61–106 — 打开
Qwen3 8B 8.2B 稠密 14.37 1.63 18–25 — 打开
Llama 3.1 8B 8.0B 稠密 13.64 2.36 19–26 30.4 打开
Gemma 4 E4B 8.0B 稠密 9.80 6.20 26–36 58.6 打开
Ling 3.0 Tiny 7.9B-A1.3B (MoE) 7.9B 1.3B 9.32 6.68 74–130 — 打开
LightOnOCR-3 4B 4.5B 稠密 6.54 9.46 39–55 — 打开
Spark-X2.5 4B 4.1B 稠密 6.33 9.67 41–57 67.4 打开
Nemotron 3 Nano 4B 4.0B 稠密 5.38 10.62 48–68 53.2 打开
Granite 4.2 3B 3.7B 稠密 7.23 8.77 35–50 54.8 打开
MiniCPM5 2B 2.5B 稠密 4.68 11.32 55–79 — 打开
Limite 1B Violetto 1.0B 稠密 2.11 13.89 127–193 — 打开

可用内存约 16 GB 的 Mac 与纯 CPU 电脑

这些机器留给模型的内存在 16 GB 到下一档之间:Mac 按 macOS 默认允许 GPU 使用的统一内存(32 GB 及以下约三分之二,更大约 75%,可用 sudo sysctl iogpu.wired_limit_mb 调高),纯 CPU 电脑按系统内存减去约 6 GB 系统占用。上面的列表同样适用,速度则取决于各自的带宽;纯 CPU 在处理长提示词时还会慢得多。

机器 可用内存 带宽 Q4_K_M 可放下(8K) 32K 下最大的模型 token/s
M2 or M3 Mac (24 GB) 16 GB 100 GB/s 21 gpt-oss-20b 9.3–16
M4 Mac (24 GB) 16 GB 120 GB/s 21 gpt-oss-20b 11–19
M5 Mac (24 GB) 16 GB 153 GB/s 21 gpt-oss-20b 14–24
M4 Pro Mac (24 GB) 16 GB 273 GB/s 21 gpt-oss-20b 25–42
M5 Pro Mac (24 GB) 16 GB 307 GB/s 21 gpt-oss-20b 28–47
M4 Mac (32 GB) 21.3 GB 120 GB/s 32 Nemotron 3 Nano 30B-A3B 15–26
M5 Mac (32 GB) 21.3 GB 153 GB/s 32 Nemotron 3 Nano 30B-A3B 19–32
M1 Pro or M2 Pro Mac (32 GB) 21.3 GB 200 GB/s 32 Nemotron 3 Nano 30B-A3B 25–42
M1 Max or M2 Max Mac (32 GB) 21.3 GB 400 GB/s 32 Nemotron 3 Nano 30B-A3B 48–83

其他显存容量

所有数字(含 8K 与 128K 上下文)见开放数据集,汇总见大模型显存统计;任意设置可在显存计算器中重算。