16 GB 显存最佳本地大模型
单张 16 GB 显卡、Q4_K_M、32K 上下文下，最大的稠密模型是 Gemma 4 12B（12.0B，9.0 GB，在一张 RTX 5060 Ti 16GB 上约 29–40 token/s）；最大的 MoE 是 gpt-oss-20b（总参数 20.9B、激活 3.6B，MXFP4，15.4 GB，约 40–68 token/s）；占用 8 GB 以上的模型中，上下文最长的是 Gemma 4 12B（完整 256K 上下文占 12.8 GB）；Q8_0 下最大的是 Gemma 4 12B（12.0B，14.6 GB）。
更新于 （本页所列模型中最近一次数据核对的日期），共 61 个模型。按显存和参数量排序，不是质量排名。总显存 = 权重 + FP16 KV 缓存（单个请求）+ 0.5 GB + 10% 开销；GB = GiB。显卡上至少还剩 0.5 GB 才算能放进，与 Can I run it? 页面（英文）一致。速度是在一张 RTX 5060 Ti 16GB（448 GB/s）上、32K 上下文已填满时的带宽估算，不是实测。不确定显存大小？让浏览器识别你的 GPU。
gpt-oss-20b 按发布格式 MXFP4 列在 Q4_K_M 表中，不列入 Q8_0 表：它的 GGUF 量化版本同样以 MXFP4 保存专家权重，各类型大小相近。
16 GB 显存的首选模型
| 类别 | 模型 | 总参数 | 激活参数 | 显存 | token/s（RTX 5060 Ti 16GB） |
|---|---|---|---|---|---|
| 最大稠密模型（Q4_K_M） | Gemma 4 12B | 12.0B | 稠密 | 9.0 GB | 29–40 |
| 最大 MoE（MXFP4） | gpt-oss-20b | 20.9B | 3.6B | 15.4 GB | 40–68 |
| 8 GB 以上模型中最长上下文（Q4_K_M） | Gemma 4 12B | 12.0B | 稠密 | 256K（完整），12.8 GB | 29–40 |
| Q8_0 下最大 | Gemma 4 12B | 12.0B | 稠密 | 14.6 GB | 17–24 |
16 GB 显存最好的本地大模型是什么？
按规模算，单张 16 GB 显卡在 Q4_K_M、32K 上下文下能放下的最大模型是 gpt-oss-20b（MoE，总参数 20.9B、激活 3.6B，MXFP4，15.4 GB，剩余 0.6 GB）；我们收录的 61 个模型中有 18 个能放进。本页按显存和参数量排序，不含跑分，我们的数据也不包含质量评测。gpt-oss-20b 按其发布格式 MXFP4 计算：它的 GGUF 量化版本同样以 MXFP4 保存专家权重，大小与 MXFP4 相近。
16 GB 显存能跑 70B 模型吗？
单卡不行：Llama 3.1 70B（70.6B）在 Q4_K_M、32K 上下文下需要 55.2 GB，或用 4 张 16 GB 显卡组成张量并行，即使用 IQ3_XXS 也要 41.3 GB。
逐步计算见 Llama 3.1 70B 显存页（英文）。
16 GB 显存上，Q8_0 和更大的模型哪个更好？
单张 16 GB 显卡、32K 上下文下，Q8_0 能放下的最大模型是 Gemma 4 12B（12.0B，14.6 GB，约 17–24 token/s），Q4_K_M 则是 gpt-oss-20b（MoE，总参数 20.9B、激活 3.6B，MXFP4，15.4 GB，约 40–68 token/s），总参数是前者的 1.7 倍。Q8_0 每个权重约 8.5 位，Q4_K_M 约 4.84 位；我们的数据只覆盖显存和速度，不评测输出质量，所以这里不给两者打分。
各 GGUF 类型的位数与取舍见 GGUF 量化类型详解（英文）。
能放进 16 GB 的最新模型
按模型数据加入或核对的日期排序，最新在前（Q4_K_M、32K 上下文）。新加入的模型会自动出现在这里。
| 模型 | 加入/核对 | 总参数 | 激活参数 | 显存 (GB) | token/s |
|---|---|---|---|---|---|
| Ornith 1.0 9B | 9.4B | 稠密 | 7.43 | 35–48 | |
| Granite 4.2 8B | 8.8B | 稠密 | 11.45 | 22–31 | |
| Granite 4.2 3B | 3.7B | 稠密 | 5.52 | 47–66 | |
| Spark-X2.5 4B | 4.1B | 稠密 | 4.40 | 59–84 | |
| Ling 3.0 Tiny 7.9B-A1.3B (MoE) | 7.9B | 1.3B | 5.62 | 111–199 | |
| LFM2.5 8B-A1B (MoE) | 8.5B | 1.5B | 6.16 | 89–158 | |
| Limite 1B Violetto | 1.0B | 稠密 | 1.62 | 168–266 | |
| ZDTaichu 5.0 9B | 9.8B | 稠密 | 7.67 | 33–47 |
Q4_K_M 下能放进 16 GB 的全部 18 个模型
| 模型 | 总参数 | 激活参数 | 显存 (GB) | 剩余 (GB) | token/s | 计算器 |
|---|---|---|---|---|---|---|
| gpt-oss-20b MXFP4 | 20.9B | 3.6B | 15.44 | 0.56 | 40–68 | 打开 |
| Gemma 4 12B | 12.0B | 稠密 | 8.98 | 7.02 | 29–40 | 打开 |
| ZDTaichu 5.0 9B | 9.8B | 稠密 | 7.67 | 8.33 | 33–47 | 打开 |
| Ornith 1.5 9B | 9.7B | 稠密 | 7.58 | 8.42 | 34–47 | 打开 |
| Qwen3.5 9B | 9.7B | 稠密 | 7.58 | 8.42 | 34–47 | 打开 |
| MiMo V2.6 Distill Qwen 9B | 9.4B | 稠密 | 7.43 | 8.57 | 35–48 | 打开 |
| Ornith 1.0 9B | 9.4B | 稠密 | 7.43 | 8.57 | 35–48 | 打开 |
| Granite 4.2 8B | 8.8B | 稠密 | 11.45 | 4.55 | 22–31 | 打开 |
| LFM2.5 8B-A1B (MoE) | 8.5B | 1.5B | 6.16 | 9.84 | 89–158 | 打开 |
| Qwen3 8B | 8.2B | 稠密 | 10.53 | 5.47 | 24–34 | 打开 |
| Llama 3.1 8B | 8.0B | 稠密 | 9.88 | 6.12 | 26–36 | 打开 |
| Gemma 4 E4B | 8.0B | 稠密 | 6.05 | 9.95 | 43–60 | 打开 |
| Ling 3.0 Tiny 7.9B-A1.3B (MoE) | 7.9B | 1.3B | 5.62 | 10.38 | 111–199 | 打开 |
| Spark-X2.5 4B | 4.1B | 稠密 | 4.40 | 11.60 | 59–84 | 打开 |
| Nemotron 3 Nano 4B | 4.0B | 稠密 | 3.51 | 12.49 | 74–108 | 打开 |
| Granite 4.2 3B | 3.7B | 稠密 | 5.52 | 10.48 | 47–66 | 打开 |
| MiniCPM5 2B | 2.5B | 稠密 | 3.50 | 12.50 | 75–108 | 打开 |
| Limite 1B Violetto | 1.0B | 稠密 | 1.62 | 14.38 | 168–266 | 打开 |
Q8_0 下能放进 16 GB 的全部 16 个模型
| 模型 | 总参数 | 激活参数 | 显存 (GB) | 剩余 (GB) | token/s | 计算器 |
|---|---|---|---|---|---|---|
| Gemma 4 12B | 12.0B | 稠密 | 14.58 | 1.42 | 17–24 | 打开 |
| ZDTaichu 5.0 9B | 9.8B | 稠密 | 12.26 | 3.74 | 21–29 | 打开 |
| Ornith 1.5 9B | 9.7B | 稠密 | 12.11 | 3.89 | 21–29 | 打开 |
| Qwen3.5 9B | 9.7B | 稠密 | 12.11 | 3.89 | 21–29 | 打开 |
| MiMo V2.6 Distill Qwen 9B | 9.4B | 稠密 | 11.84 | 4.16 | 22–30 | 打开 |
| Ornith 1.0 9B | 9.4B | 稠密 | 11.84 | 4.16 | 22–30 | 打开 |
| LFM2.5 8B-A1B (MoE) | 8.5B | 1.5B | 10.13 | 5.87 | 61–106 | 打开 |
| Qwen3 8B | 8.2B | 稠密 | 14.37 | 1.63 | 18–25 | 打开 |
| Llama 3.1 8B | 8.0B | 稠密 | 13.64 | 2.36 | 19–26 | 打开 |
| Gemma 4 E4B | 8.0B | 稠密 | 9.80 | 6.20 | 26–36 | 打开 |
| Ling 3.0 Tiny 7.9B-A1.3B (MoE) | 7.9B | 1.3B | 9.32 | 6.68 | 74–130 | 打开 |
| Spark-X2.5 4B | 4.1B | 稠密 | 6.33 | 9.67 | 41–57 | 打开 |
| Nemotron 3 Nano 4B | 4.0B | 稠密 | 5.38 | 10.62 | 48–68 | 打开 |
| Granite 4.2 3B | 3.7B | 稠密 | 7.23 | 8.77 | 35–50 | 打开 |
| MiniCPM5 2B | 2.5B | 稠密 | 4.68 | 11.32 | 55–79 | 打开 |
| Limite 1B Violetto | 1.0B | 稠密 | 2.11 | 13.89 | 127–193 | 打开 |
可用内存约 16 GB 的 Mac 与纯 CPU 电脑
这些机器留给模型的内存在 16 GB 到下一档之间：Mac 按 macOS 默认允许 GPU 使用的统一内存（32 GB 及以下约三分之二，更大约 75%，可用 sudo sysctl iogpu.wired_limit_mb 调高），纯 CPU 电脑按系统内存减去约 6 GB 系统占用。上面的列表同样适用，速度则取决于各自的带宽；纯 CPU 在处理长提示词时还会慢得多。
| 机器 | 可用内存 | 带宽 | Q4_K_M 可放下（8K） | 32K 下最大的模型 | token/s |
|---|---|---|---|---|---|
| M2 or M3 Mac (24 GB) | 16 GB | 100 GB/s | 18 | gpt-oss-20b | 9.3–16 |
| M4 Mac (24 GB) | 16 GB | 120 GB/s | 18 | gpt-oss-20b | 11–19 |
| M5 Mac (24 GB) | 16 GB | 153 GB/s | 18 | gpt-oss-20b | 14–24 |
| M4 Pro Mac (24 GB) | 16 GB | 273 GB/s | 18 | gpt-oss-20b | 25–42 |
| M5 Pro Mac (24 GB) | 16 GB | 307 GB/s | 18 | gpt-oss-20b | 28–47 |
| M4 Mac (32 GB) | 21.3 GB | 120 GB/s | 28 | Nemotron 3 Nano 30B-A3B | 15–26 |
| M5 Mac (32 GB) | 21.3 GB | 153 GB/s | 28 | Nemotron 3 Nano 30B-A3B | 19–32 |
| M1 Pro or M2 Pro Mac (32 GB) | 21.3 GB | 200 GB/s | 28 | Nemotron 3 Nano 30B-A3B | 25–42 |
| M1 Max or M2 Max Mac (32 GB) | 21.3 GB | 400 GB/s | 28 | Nemotron 3 Nano 30B-A3B | 48–83 |