96 GB 显存最佳本地大模型

单张 96 GB 显卡、Q4_K_M、32K 上下文下,最大的稠密模型是 Mistral Medium 3.5 128B(127.7B,91.8 GB,在一张 RTX PRO 6000 Blackwell 上约 11–15 token/s);最大的 MoE 是 Qwen3.5 122B-A10B(总参数 125.1B、激活 10.0B,78.8 GB,约 70–123 token/s);占用 48 GB 以上的模型中,上下文最长的是 Nemotron 3.5 Super VL 120B-A12B(完整 1M 上下文占 86.4 GB);Q8_0 下最大的是 AliceAI Foundation 80B-A3B(MoE,总参数 81.3B、激活 3.0B,89.8 GB)。

更新于 (本页所列模型中最近一次数据核对的日期),共 69 个模型。按显存和参数量排序,不是质量排名。总显存 = 权重 + FP16 KV 缓存(单个请求)+ 0.5 GB + 10% 开销;GB = GiB。显卡上至少还剩 0.5 GB 才算能放进,与 Can I run it? 页面(英文)一致。速度是在一张 RTX PRO 6000 Blackwell(1792 GB/s)上、32K 上下文已填满时的带宽估算,不是实测。不确定显存大小?让浏览器识别你的 GPU。

gpt-oss-120b、gpt-oss-20b 按发布格式 MXFP4 列在 Q4_K_M 表中,不列入 Q8_0 表:它们的 GGUF 量化版本同样以 MXFP4 保存专家权重,各类型大小相近。

96 GB 显存的首选模型

类别 模型 总参数 激活参数 显存 token/s(RTX PRO 6000 Blackwell) GPQA(自报)
最大稠密模型(Q4_K_M) Mistral Medium 3.5 128B 127.7B 稠密 91.8 GB 11–15 —
最大 MoE(Q4_K_M) Qwen3.5 122B-A10B (MoE) 125.1B 10.0B 78.8 GB 70–123 86.6
48 GB 以上模型中最长上下文(Q4_K_M) Nemotron 3.5 Super VL 120B-A12B (MoE) 124.5B 12.0B 1M(完整),86.4 GB 65–112 —
Q8_0 下最大 AliceAI Foundation 80B-A3B (MoE) 81.3B 3.0B 89.8 GB 112–202 —

GPQA 是研究生水平的科学选择题(四选一,瞎猜约 25%)。分数由各厂商在自家模型卡或技术报告中自报,点击数字可查看来源(2026-09-30 读取),本站没有重跑;推理强度、是否用工具等设置各家不同,相差几分说明不了什么。— 表示厂商没有公布。31 个模型有此分数。

96 GB 显存最好的本地大模型是什么?

按规模算,单张 96 GB 显卡在 Q4_K_M、32K 上下文下能放下的最大模型是 Mistral Medium 3.5 128B(127.7B,91.8 GB,剩余 4.3 GB);我们收录的 69 个模型中有 47 个能放进。本页按显存和参数量排序,不按跑分排序;表中的 GPQA 一栏是各厂商在自家模型卡上自报的分数,仅供参考。

96 GB 显存能跑 70B 模型吗?

可以:Llama 3.1 70B(70.6B)在 Q4_K_M、32K 上下文下需要 55.2 GB,单张 96 GB 显卡还剩 40.8 GB;最高可用 Q8_0(88.3 GB)。总参数 65B 以上的 MoE 模型中,Qwen3.5 122B-A10B(78.8 GB)、Nemotron 3.5 Super VL 120B-A12B(77.9 GB)、Nemotron 3 Super 120B-A12B(77.4 GB)能以 Q4_K_M、32K 上下文放进。

逐步计算见 Llama 3.1 70B 显存页(英文)。

96 GB 显存上,Q8_0 和更大的模型哪个更好?

单张 96 GB 显卡、32K 上下文下,Q8_0 能放下的最大模型是 AliceAI Foundation 80B-A3B(MoE,总参数 81.3B、激活 3.0B,89.8 GB,约 112–202 token/s),Q4_K_M 则是 Mistral Medium 3.5 128B(127.7B,91.8 GB,约 11–15 token/s),总参数是前者的 1.6 倍。Q8_0 每个权重约 8.5 位,Q4_K_M 约 4.84 位;我们的数据只覆盖显存和速度,不评测输出质量,所以这里不给两者打分。

各 GGUF 类型的位数与取舍见 GGUF 量化类型详解(英文)。

能放进 96 GB 的最新模型

按模型数据加入或核对的日期排序,最新在前(Q4_K_M、32K 上下文)。新加入的模型会自动出现在这里。

模型 加入/核对 总参数 激活参数 显存 (GB) token/s GPQA(自报)
Nemotron 3.5 Super VL 120B-A12B (MoE) 124.5B 12.0B 77.91 65–112 —
LightOnOCR-3 4B 4.5B 稠密 4.41 186–299 —
Kolibri-1 (MoE) 78.1B 3.5B 49.70 146–270 —
ThinkingCap Qwen3.8 27B 27.8B 稠密 19.92 48–68 —
LensVLM 9B 9.4B 稠密 7.43 120–181 —
Qwen3-Coder 30B-A3B (MoE) 30.5B 3.3B 22.72 89–158 —
Ornith 1.0 35B (MoE) 35.1B 3.0B 22.95 163–305 —
Ornith 1.0 9B 9.4B 稠密 7.43 120–181 —

Q4_K_M 下能放进 96 GB 的全部 47 个模型

模型 总参数 激活参数 显存 (GB) 剩余 (GB) token/s GPQA(自报) 计算器
Mistral Medium 3.5 128B 127.7B 稠密 91.75 4.25 11–15 — 打开
Qwen3.5 122B-A10B (MoE) 125.1B 10.0B 78.85 17.15 70–123 86.6 打开
Nemotron 3.5 Super VL 120B-A12B (MoE) 124.5B 12.0B 77.91 18.09 65–112 — 打开
Nemotron 3 Super 120B-A12B (MoE) 123.6B 12.0B 77.39 18.61 65–112 79.23 打开
gpt-oss-120b MXFP4 116.8B 5.1B 68.61 27.39 110–198 80.1 打开
AliceAI Foundation 80B-A3B (MoE) 81.3B 3.0B 51.71 44.29 157–292 — 打开
Qwen3-Coder-Next (80B MoE) 79.7B 3.0B 50.71 45.29 157–292 — 打开
Kolibri-1 (MoE) 78.1B 3.5B 49.70 46.30 146–270 — 打开
Llama 3.1 70B 70.6B 稠密 55.23 40.77 18–25 46.7 打开
K2-Horizon MoVA 36B-A4B (MoE) 37.4B 4.0B 30.31 65.69 56–96 80.8 打开
Ornith 1.5 35B-A3B (MoE) 36.0B 3.0B 23.47 72.53 163–305 89.2 打开
Qwen3.6 35B-A3B (MoE) 36.0B 3.0B 23.47 72.53 163–305 86.0 打开
Ornith 1.0 35B (MoE) 35.1B 3.0B 22.95 73.05 163–305 — 打开
LLM-jp-4.1 32B-A3B Thinking (MoE) 32.1B 3.8B 22.62 73.38 102–182 — 打开
Nemotron 3 Nano 30B-A3B (MoE) 31.6B 3.5B 20.28 75.72 172–324 73.0 打开
Gemma 4 31B 31.3B 稠密 23.92 72.08 40–57 84.3 打开
GLM-4.7 Flash 31.2B 3.0B 21.67 74.33 122–222 75.2 打开
Xing 4.0 29B-A4B (MoE) 31.2B 4.0B 21.39 74.61 114–205 — 打开
Qwen3 30B-A3B (MoE) 30.5B 3.3B 22.72 73.28 89–158 — 打开
Qwen3-Coder 30B-A3B (MoE) 30.5B 3.3B 22.72 73.28 89–158 — 打开
Muse Glimmer 30B 29.8B 稠密 19.51 76.49 49–70 — 打开
Granite 4.2 30B 29.3B 稠密 27.45 68.55 35–50 66.41 打开
Qwen3.6 27B 27.8B 稠密 19.92 76.08 48–68 87.8 打开
Qwen3.8 27B 27.8B 稠密 19.92 76.08 48–68 89.2 打开
ThinkingCap Qwen3.8 27B 27.8B 稠密 19.92 76.08 48–68 — 打开
Hemmingway-1 27B 27.3B 稠密 19.63 76.37 49–69 — 打开
Gemma 4 26B-A4B (MoE) 25.8B 4.0B 17.50 78.50 128–233 82.3 打开
gpt-oss-20b MXFP4 20.9B 3.6B 15.44 80.56 134–246 71.5 打开
Gemma 4 12B 12.0B 稠密 8.98 87.02 101–150 78.8 打开
ZDTaichu 5.0 9B 9.8B 稠密 7.67 88.33 116–175 — 打开
Ornith 1.5 9B 9.7B 稠密 7.58 88.42 117–177 86.4 打开
Qwen3.5 9B 9.7B 稠密 7.58 88.42 117–177 81.7 打开
LensVLM 9B 9.4B 稠密 7.43 88.57 120–181 — 打开
MiMo V2.6 Distill Qwen 9B 9.4B 稠密 7.43 88.57 120–181 — 打开
Ornith 1.0 9B 9.4B 稠密 7.43 88.57 120–181 — 打开
Granite 4.2 8B 8.8B 稠密 11.45 84.55 81–118 64.14 打开
LFM2.5 8B-A1B (MoE) 8.5B 1.5B 6.16 89.84 254–510 — 打开
Qwen3 8B 8.2B 稠密 10.53 85.47 87–128 — 打开
Llama 3.1 8B 8.0B 稠密 9.88 86.12 93–137 30.4 打开
Gemma 4 E4B 8.0B 稠密 6.05 89.95 143–221 58.6 打开
Ling 3.0 Tiny 7.9B-A1.3B (MoE) 7.9B 1.3B 5.62 90.38 295–613 — 打开
LightOnOCR-3 4B 4.5B 稠密 4.41 91.59 186–299 — 打开
Spark-X2.5 4B 4.1B 稠密 4.40 91.60 186–300 67.4 打开
Nemotron 3 Nano 4B 4.0B 稠密 3.51 92.49 223–372 53.2 打开
Granite 4.2 3B 3.7B 稠密 5.52 90.48 155–241 54.8 打开
MiniCPM5 2B 2.5B 稠密 3.50 92.50 223–373 — 打开
Limite 1B Violetto 1.0B 稠密 1.62 94.38 383–761 — 打开

Q8_0 下能放进 96 GB 的全部 41 个模型

模型 总参数 激活参数 显存 (GB) 剩余 (GB) token/s GPQA(自报) 计算器
AliceAI Foundation 80B-A3B (MoE) 81.3B 3.0B 89.80 6.20 112–202 — 打开
Qwen3-Coder-Next (80B MoE) 79.7B 3.0B 88.05 7.95 112–202 — 打开
Kolibri-1 (MoE) 78.1B 3.5B 86.31 9.69 102–183 — 打开
Llama 3.1 70B 70.6B 稠密 88.30 7.70 11–16 46.7 打开
K2-Horizon MoVA 36B-A4B (MoE) 37.4B 4.0B 47.86 48.14 47–80 80.8 打开
Ornith 1.5 35B-A3B (MoE) 36.0B 3.0B 40.32 55.68 115–208 89.2 打开
Qwen3.6 35B-A3B (MoE) 36.0B 3.0B 40.32 55.68 115–208 86.0 打开
Ornith 1.0 35B (MoE) 35.1B 3.0B 39.40 56.60 115–208 — 打开
LLM-jp-4.1 32B-A3B Thinking (MoE) 32.1B 3.8B 37.68 58.32 77–134 — 打开
Nemotron 3 Nano 30B-A3B (MoE) 31.6B 3.5B 35.08 60.92 114–205 73.0 打开
Gemma 4 31B 31.3B 稠密 38.58 57.42 26–36 84.3 打开
GLM-4.7 Flash 31.2B 3.0B 36.30 59.70 93–166 75.2 打开
Xing 4.0 29B-A4B (MoE) 31.2B 4.0B 36.02 59.98 82–144 — 打开
Qwen3 30B-A3B (MoE) 30.5B 3.3B 37.03 58.97 71–125 — 打开
Qwen3-Coder 30B-A3B (MoE) 30.5B 3.3B 37.03 58.97 71–125 — 打开
Muse Glimmer 30B 29.8B 稠密 33.46 62.54 29–41 — 打开
Granite 4.2 30B 29.3B 稠密 41.17 54.83 24–33 66.41 打开
Qwen3.6 27B 27.8B 稠密 32.94 63.06 30–42 87.8 打开
Qwen3.8 27B 27.8B 稠密 32.94 63.06 30–42 89.2 打开
ThinkingCap Qwen3.8 27B 27.8B 稠密 32.94 63.06 30–42 — 打开
Hemmingway-1 27B 27.3B 稠密 32.44 63.56 30–42 — 打开
Gemma 4 26B-A4B (MoE) 25.8B 4.0B 29.60 66.40 89–158 82.3 打开
Gemma 4 12B 12.0B 稠密 14.58 81.42 65–93 78.8 打开
ZDTaichu 5.0 9B 9.8B 稠密 12.26 83.74 76–111 — 打开
Ornith 1.5 9B 9.7B 稠密 12.11 83.89 77–112 86.4 打开
Qwen3.5 9B 9.7B 稠密 12.11 83.89 77–112 81.7 打开
LensVLM 9B 9.4B 稠密 11.84 84.16 79–114 — 打开
MiMo V2.6 Distill Qwen 9B 9.4B 稠密 11.84 84.16 79–114 — 打开
Ornith 1.0 9B 9.4B 稠密 11.84 84.16 79–114 — 打开
Granite 4.2 8B 8.8B 稠密 15.57 80.43 61–87 64.14 打开
LFM2.5 8B-A1B (MoE) 8.5B 1.5B 10.13 85.87 192–367 — 打开
Qwen3 8B 8.2B 稠密 14.37 81.63 66–95 — 打开
Llama 3.1 8B 8.0B 稠密 13.64 82.36 69–100 30.4 打开
Gemma 4 E4B 8.0B 稠密 9.80 86.20 93–138 58.6 打开
Ling 3.0 Tiny 7.9B-A1.3B (MoE) 7.9B 1.3B 9.32 86.68 223–436 — 打开
LightOnOCR-3 4B 4.5B 稠密 6.54 89.46 134–205 — 打开
Spark-X2.5 4B 4.1B 稠密 6.33 89.67 137–211 67.4 打开
Nemotron 3 Nano 4B 4.0B 稠密 5.38 90.62 158–247 53.2 打开
Granite 4.2 3B 3.7B 稠密 7.23 88.77 122–186 54.8 打开
MiniCPM5 2B 2.5B 稠密 4.68 91.32 177–283 — 打开
Limite 1B Violetto 1.0B 稠密 2.11 93.89 323–600 — 打开

可用内存约 96 GB 的 Mac 与纯 CPU 电脑

这些机器留给模型的内存在 96 GB 到下一档之间:Mac 按 macOS 默认允许 GPU 使用的统一内存(32 GB 及以下约三分之二,更大约 75%,可用 sudo sysctl iogpu.wired_limit_mb 调高),纯 CPU 电脑按系统内存减去约 6 GB 系统占用。上面的列表同样适用,速度则取决于各自的带宽;纯 CPU 在处理长提示词时还会慢得多。

机器 可用内存 带宽 Q4_K_M 可放下(8K) 32K 下最大的模型 token/s
Ryzen AI Max+ 395 (128 GB) 96 GB 256 GB/s 48 Mistral Medium 3.5 128B 1.6–2.2
M3 Max Mac (128 GB) 96 GB 400 GB/s 48 Mistral Medium 3.5 128B 2.5–3.4
M4 Max Mac (128 GB) 96 GB 546 GB/s 48 Mistral Medium 3.5 128B 3.4–4.6
M5 Max Mac (128 GB) 96 GB 614 GB/s 48 Mistral Medium 3.5 128B 3.8–5.2
DGX Spark (128 GB) 120 GB 273 GB/s 49 Qwen3.8 Flash Next (180B MoE) 18–30
M3 Ultra Mac Studio (512 GB) 384 GB 819 GB/s 58 Ling 3.1 Flash 560B-A25B 16–26
CPU only, DDR5-5600 dual channel (128 GB) 122 GB 89.6 GB/s 49 Qwen3.8 Flash Next (180B MoE) 6.0–11
CPU only, DDR4-3200 quad channel (128 GB) 122 GB 102.4 GB/s 49 Qwen3.8 Flash Next (180B MoE) 6.9–13
CPU only, DDR4-3200 quad channel (256 GB) 250 GB 102.4 GB/s 56 GLM-5.3 Flash 2.7–4.9

其他显存容量

所有数字(含 8K 与 128K 上下文)见开放数据集,汇总见大模型显存统计;任意设置可在显存计算器中重算。