12 GB 显存最佳本地大模型
单张 12 GB 显卡、Q4_K_M、32K 上下文下，最大的稠密模型是 Gemma 4 12B（12.0B，9.0 GB，在一张 RTX 4070 12GB 上约 32–45 token/s）；最大的 MoE 是 LFM2.5 8B-A1B（总参数 8.5B、激活 1.5B，6.2 GB，约 98–175 token/s）；占用 6 GB 以上的模型中，上下文最长的是 Gemma 4 12B（最多 178K 上下文占 11.5 GB）；Q8_0 下最大的是 LFM2.5 8B-A1B（MoE，总参数 8.5B、激活 1.5B，10.1 GB）。
更新于 （本页所列模型中最近一次数据核对的日期），共 61 个模型。按显存和参数量排序，不是质量排名。总显存 = 权重 + FP16 KV 缓存（单个请求）+ 0.5 GB + 10% 开销；GB = GiB。显卡上至少还剩 0.5 GB 才算能放进，与 Can I run it? 页面（英文）一致。速度是在一张 RTX 4070 12GB（504 GB/s）上、32K 上下文已填满时的带宽估算，不是实测。不确定显存大小？让浏览器识别你的 GPU。
12 GB 显存的首选模型
| 类别 | 模型 | 总参数 | 激活参数 | 显存 | token/s（RTX 4070 12GB） |
|---|---|---|---|---|---|
| 最大稠密模型（Q4_K_M） | Gemma 4 12B | 12.0B | 稠密 | 9.0 GB | 32–45 |
| 最大 MoE（Q4_K_M） | LFM2.5 8B-A1B (MoE) | 8.5B | 1.5B | 6.2 GB | 98–175 |
| 6 GB 以上模型中最长上下文（Q4_K_M） | Gemma 4 12B | 12.0B | 稠密 | 178K，11.5 GB | 32–45 |
| Q8_0 下最大 | LFM2.5 8B-A1B (MoE) | 8.5B | 1.5B | 10.1 GB | 68–119 |
12 GB 显存最好的本地大模型是什么？
按规模算，单张 12 GB 显卡在 Q4_K_M、32K 上下文下能放下的最大模型是 Gemma 4 12B（12.0B，9.0 GB，剩余 3.0 GB）；我们收录的 61 个模型中有 17 个能放进。本页按显存和参数量排序，不含跑分，我们的数据也不包含质量评测。
12 GB 显存能跑 70B 模型吗？
单卡不行：Llama 3.1 70B（70.6B）在 Q4_K_M、32K 上下文下需要 55.2 GB，即使用 IQ3_XXS 也要 41.3 GB。
逐步计算见 Llama 3.1 70B 显存页（英文）。
12 GB 显存上，Q8_0 和更大的模型哪个更好？
单张 12 GB 显卡、32K 上下文下，Q8_0 能放下的最大模型是 LFM2.5 8B-A1B（MoE，总参数 8.5B、激活 1.5B，10.1 GB，约 68–119 token/s），Q4_K_M 则是 Gemma 4 12B（12.0B，9.0 GB，约 32–45 token/s），总参数是前者的 1.4 倍。Q8_0 每个权重约 8.5 位，Q4_K_M 约 4.84 位；我们的数据只覆盖显存和速度，不评测输出质量，所以这里不给两者打分。
各 GGUF 类型的位数与取舍见 GGUF 量化类型详解（英文）。
能放进 12 GB 的最新模型
按模型数据加入或核对的日期排序，最新在前（Q4_K_M、32K 上下文）。新加入的模型会自动出现在这里。
| 模型 | 加入/核对 | 总参数 | 激活参数 | 显存 (GB) | token/s |
|---|---|---|---|---|---|
| Ornith 1.0 9B | 9.4B | 稠密 | 7.43 | 39–54 | |
| Granite 4.2 8B | 8.8B | 稠密 | 11.45 | 25–35 | |
| Granite 4.2 3B | 3.7B | 稠密 | 5.52 | 52–74 | |
| Spark-X2.5 4B | 4.1B | 稠密 | 4.40 | 66–95 | |
| Ling 3.0 Tiny 7.9B-A1.3B (MoE) | 7.9B | 1.3B | 5.62 | 122–221 | |
| LFM2.5 8B-A1B (MoE) | 8.5B | 1.5B | 6.16 | 98–175 | |
| Limite 1B Violetto | 1.0B | 稠密 | 1.62 | 183–294 | |
| ZDTaichu 5.0 9B | 9.8B | 稠密 | 7.67 | 37–53 |
Q4_K_M 下能放进 12 GB 的全部 17 个模型
| 模型 | 总参数 | 激活参数 | 显存 (GB) | 剩余 (GB) | token/s | 计算器 |
|---|---|---|---|---|---|---|
| Gemma 4 12B | 12.0B | 稠密 | 8.98 | 3.02 | 32–45 | 打开 |
| ZDTaichu 5.0 9B | 9.8B | 稠密 | 7.67 | 4.33 | 37–53 | 打开 |
| Ornith 1.5 9B | 9.7B | 稠密 | 7.58 | 4.42 | 38–53 | 打开 |
| Qwen3.5 9B | 9.7B | 稠密 | 7.58 | 4.42 | 38–53 | 打开 |
| MiMo V2.6 Distill Qwen 9B | 9.4B | 稠密 | 7.43 | 4.57 | 39–54 | 打开 |
| Ornith 1.0 9B | 9.4B | 稠密 | 7.43 | 4.57 | 39–54 | 打开 |
| Granite 4.2 8B | 8.8B | 稠密 | 11.45 | 0.55 | 25–35 | 打开 |
| LFM2.5 8B-A1B (MoE) | 8.5B | 1.5B | 6.16 | 5.84 | 98–175 | 打开 |
| Qwen3 8B | 8.2B | 稠密 | 10.53 | 1.47 | 27–38 | 打开 |
| Llama 3.1 8B | 8.0B | 稠密 | 9.88 | 2.12 | 29–40 | 打开 |
| Gemma 4 E4B | 8.0B | 稠密 | 6.05 | 5.95 | 48–67 | 打开 |
| Ling 3.0 Tiny 7.9B-A1.3B (MoE) | 7.9B | 1.3B | 5.62 | 6.38 | 122–221 | 打开 |
| Spark-X2.5 4B | 4.1B | 稠密 | 4.40 | 7.60 | 66–95 | 打开 |
| Nemotron 3 Nano 4B | 4.0B | 稠密 | 3.51 | 8.49 | 83–121 | 打开 |
| Granite 4.2 3B | 3.7B | 稠密 | 5.52 | 6.48 | 52–74 | 打开 |
| MiniCPM5 2B | 2.5B | 稠密 | 3.50 | 8.50 | 83–121 | 打开 |
| Limite 1B Violetto | 1.0B | 稠密 | 1.62 | 10.38 | 183–294 | 打开 |
Q8_0 下能放进 12 GB 的全部 8 个模型
| 模型 | 总参数 | 激活参数 | 显存 (GB) | 剩余 (GB) | token/s | 计算器 |
|---|---|---|---|---|---|---|
| LFM2.5 8B-A1B (MoE) | 8.5B | 1.5B | 10.13 | 1.87 | 68–119 | 打开 |
| Gemma 4 E4B | 8.0B | 稠密 | 9.80 | 2.20 | 29–41 | 打开 |
| Ling 3.0 Tiny 7.9B-A1.3B (MoE) | 7.9B | 1.3B | 9.32 | 2.68 | 82–145 | 打开 |
| Spark-X2.5 4B | 4.1B | 稠密 | 6.33 | 5.67 | 45–64 | 打开 |
| Nemotron 3 Nano 4B | 4.0B | 稠密 | 5.38 | 6.62 | 54–76 | 打开 |
| Granite 4.2 3B | 3.7B | 稠密 | 7.23 | 4.77 | 40–56 | 打开 |
| MiniCPM5 2B | 2.5B | 稠密 | 4.68 | 7.32 | 62–88 | 打开 |
| Limite 1B Violetto | 1.0B | 稠密 | 2.11 | 9.89 | 140–215 | 打开 |
可用内存约 12 GB 的 Mac 与纯 CPU 电脑
这些机器留给模型的内存在 12 GB 到下一档之间：Mac 按 macOS 默认允许 GPU 使用的统一内存（32 GB 及以下约三分之二，更大约 75%，可用 sudo sysctl iogpu.wired_limit_mb 调高），纯 CPU 电脑按系统内存减去约 6 GB 系统占用。上面的列表同样适用，速度则取决于各自的带宽；纯 CPU 在处理长提示词时还会慢得多。
| 机器 | 可用内存 | 带宽 | Q4_K_M 可放下（8K） | 32K 下最大的模型 | token/s |
|---|---|---|---|---|---|
| M3 Pro Mac (18 GB) | 12 GB | 150 GB/s | 17 | Gemma 4 12B | 9.8–14 |