12 GB 显存最佳本地大模型

单张 12 GB 显卡、Q4_K_M、32K 上下文下,最大的稠密模型是 Gemma 4 12B(12.0B,9.0 GB,在一张 RTX 4070 12GB 上约 32–45 token/s);最大的 MoE 是 LFM2.5 8B-A1B(总参数 8.5B、激活 1.5B,6.2 GB,约 98–175 token/s);占用 6 GB 以上的模型中,上下文最长的是 Gemma 4 12B(最多 178K 上下文占 11.5 GB);Q8_0 下最大的是 LFM2.5 8B-A1B(MoE,总参数 8.5B、激活 1.5B,10.1 GB)。

更新于 (本页所列模型中最近一次数据核对的日期),共 69 个模型。按显存和参数量排序,不是质量排名。总显存 = 权重 + FP16 KV 缓存(单个请求)+ 0.5 GB + 10% 开销;GB = GiB。显卡上至少还剩 0.5 GB 才算能放进,与 Can I run it? 页面(英文)一致。速度是在一张 RTX 4070 12GB(504 GB/s)上、32K 上下文已填满时的带宽估算,不是实测。不确定显存大小?让浏览器识别你的 GPU。

12 GB 显存的首选模型

类别 模型 总参数 激活参数 显存 token/s(RTX 4070 12GB) GPQA(自报)
最大稠密模型(Q4_K_M) Gemma 4 12B 12.0B 稠密 9.0 GB 32–45 78.8
最大 MoE(Q4_K_M) LFM2.5 8B-A1B (MoE) 8.5B 1.5B 6.2 GB 98–175 —
6 GB 以上模型中最长上下文(Q4_K_M) Gemma 4 12B 12.0B 稠密 178K,11.5 GB 32–45 78.8
Q8_0 下最大 LFM2.5 8B-A1B (MoE) 8.5B 1.5B 10.1 GB 68–119 —

GPQA 是研究生水平的科学选择题(四选一,瞎猜约 25%)。分数由各厂商在自家模型卡或技术报告中自报,点击数字可查看来源(2026-09-30 读取),本站没有重跑;推理强度、是否用工具等设置各家不同,相差几分说明不了什么。— 表示厂商没有公布。31 个模型有此分数。

12 GB 显存最好的本地大模型是什么?

按规模算,单张 12 GB 显卡在 Q4_K_M、32K 上下文下能放下的最大模型是 Gemma 4 12B(12.0B,9.0 GB,剩余 3.0 GB);我们收录的 69 个模型中有 19 个能放进。本页按显存和参数量排序,不按跑分排序;表中的 GPQA 一栏是各厂商在自家模型卡上自报的分数,仅供参考。

12 GB 显存能跑 70B 模型吗?

单卡不行:Llama 3.1 70B(70.6B)在 Q4_K_M、32K 上下文下需要 55.2 GB,即使用 IQ3_XXS 也要 41.3 GB。

逐步计算见 Llama 3.1 70B 显存页(英文)。

12 GB 显存上,Q8_0 和更大的模型哪个更好?

单张 12 GB 显卡、32K 上下文下,Q8_0 能放下的最大模型是 LFM2.5 8B-A1B(MoE,总参数 8.5B、激活 1.5B,10.1 GB,约 68–119 token/s),Q4_K_M 则是 Gemma 4 12B(12.0B,9.0 GB,约 32–45 token/s),总参数是前者的 1.4 倍。Q8_0 每个权重约 8.5 位,Q4_K_M 约 4.84 位;我们的数据只覆盖显存和速度,不评测输出质量,所以这里不给两者打分。

各 GGUF 类型的位数与取舍见 GGUF 量化类型详解(英文)。

能放进 12 GB 的最新模型

按模型数据加入或核对的日期排序,最新在前(Q4_K_M、32K 上下文)。新加入的模型会自动出现在这里。

模型 加入/核对 总参数 激活参数 显存 (GB) token/s GPQA(自报)
LightOnOCR-3 4B 4.5B 稠密 4.41 65–94 —
LensVLM 9B 9.4B 稠密 7.43 39–54 —
Ornith 1.0 9B 9.4B 稠密 7.43 39–54 —
Granite 4.2 8B 8.8B 稠密 11.45 25–35 64.14
Granite 4.2 3B 3.7B 稠密 5.52 52–74 54.8
Spark-X2.5 4B 4.1B 稠密 4.40 66–95 67.4
Ling 3.0 Tiny 7.9B-A1.3B (MoE) 7.9B 1.3B 5.62 122–221 —
LFM2.5 8B-A1B (MoE) 8.5B 1.5B 6.16 98–175 —

Q4_K_M 下能放进 12 GB 的全部 19 个模型

模型 总参数 激活参数 显存 (GB) 剩余 (GB) token/s GPQA(自报) 计算器
Gemma 4 12B 12.0B 稠密 8.98 3.02 32–45 78.8 打开
ZDTaichu 5.0 9B 9.8B 稠密 7.67 4.33 37–53 — 打开
Ornith 1.5 9B 9.7B 稠密 7.58 4.42 38–53 86.4 打开
Qwen3.5 9B 9.7B 稠密 7.58 4.42 38–53 81.7 打开
LensVLM 9B 9.4B 稠密 7.43 4.57 39–54 — 打开
MiMo V2.6 Distill Qwen 9B 9.4B 稠密 7.43 4.57 39–54 — 打开
Ornith 1.0 9B 9.4B 稠密 7.43 4.57 39–54 — 打开
Granite 4.2 8B 8.8B 稠密 11.45 0.55 25–35 64.14 打开
LFM2.5 8B-A1B (MoE) 8.5B 1.5B 6.16 5.84 98–175 — 打开
Qwen3 8B 8.2B 稠密 10.53 1.47 27–38 — 打开
Llama 3.1 8B 8.0B 稠密 9.88 2.12 29–40 30.4 打开
Gemma 4 E4B 8.0B 稠密 6.05 5.95 48–67 58.6 打开
Ling 3.0 Tiny 7.9B-A1.3B (MoE) 7.9B 1.3B 5.62 6.38 122–221 — 打开
LightOnOCR-3 4B 4.5B 稠密 4.41 7.59 65–94 — 打开
Spark-X2.5 4B 4.1B 稠密 4.40 7.60 66–95 67.4 打开
Nemotron 3 Nano 4B 4.0B 稠密 3.51 8.49 83–121 53.2 打开
Granite 4.2 3B 3.7B 稠密 5.52 6.48 52–74 54.8 打开
MiniCPM5 2B 2.5B 稠密 3.50 8.50 83–121 — 打开
Limite 1B Violetto 1.0B 稠密 1.62 10.38 183–294 — 打开

Q8_0 下能放进 12 GB 的全部 9 个模型

模型 总参数 激活参数 显存 (GB) 剩余 (GB) token/s GPQA(自报) 计算器
LFM2.5 8B-A1B (MoE) 8.5B 1.5B 10.13 1.87 68–119 — 打开
Gemma 4 E4B 8.0B 稠密 9.80 2.20 29–41 58.6 打开
Ling 3.0 Tiny 7.9B-A1.3B (MoE) 7.9B 1.3B 9.32 2.68 82–145 — 打开
LightOnOCR-3 4B 4.5B 稠密 6.54 5.46 44–62 — 打开
Spark-X2.5 4B 4.1B 稠密 6.33 5.67 45–64 67.4 打开
Nemotron 3 Nano 4B 4.0B 稠密 5.38 6.62 54–76 53.2 打开
Granite 4.2 3B 3.7B 稠密 7.23 4.77 40–56 54.8 打开
MiniCPM5 2B 2.5B 稠密 4.68 7.32 62–88 — 打开
Limite 1B Violetto 1.0B 稠密 2.11 9.89 140–215 — 打开

可用内存约 12 GB 的 Mac 与纯 CPU 电脑

这些机器留给模型的内存在 12 GB 到下一档之间:Mac 按 macOS 默认允许 GPU 使用的统一内存(32 GB 及以下约三分之二,更大约 75%,可用 sudo sysctl iogpu.wired_limit_mb 调高),纯 CPU 电脑按系统内存减去约 6 GB 系统占用。上面的列表同样适用,速度则取决于各自的带宽;纯 CPU 在处理长提示词时还会慢得多。

机器 可用内存 带宽 Q4_K_M 可放下(8K) 32K 下最大的模型 token/s
M3 Pro Mac (18 GB) 12 GB 150 GB/s 20 Gemma 4 12B 9.8–14

其他显存容量

所有数字(含 8K 与 128K 上下文)见开放数据集,汇总见大模型显存统计;任意设置可在显存计算器中重算。