24 GB 显存最佳本地大模型

单张 24 GB 显卡、Q4_K_M、32K 上下文下,最大的稠密模型是 Muse Glimmer 30B(29.8B,19.5 GB,在一张 RTX 4090 上约 29–40 token/s);最大的 MoE 是并列的 Ornith 1.5 35B-A3B 和 Qwen3.6 35B-A3B(总参数 36.0B、激活 3.0B,23.5 GB,约 103–184 token/s);占用 12 GB 以上的模型中,上下文最长的是 Nemotron 3 Nano 30B-A3B(完整 256K 上下文占 21.7 GB);Q8_0 下最大的是 Gemma 4 12B(12.0B,14.6 GB)。

更新于 (本页所列模型中最近一次数据核对的日期),共 69 个模型。按显存和参数量排序,不是质量排名。总显存 = 权重 + FP16 KV 缓存(单个请求)+ 0.5 GB + 10% 开销;GB = GiB。显卡上至少还剩 0.5 GB 才算能放进,与 Can I run it? 页面(英文)一致。速度是在一张 RTX 4090(1008 GB/s)上、32K 上下文已填满时的带宽估算,不是实测。不确定显存大小?让浏览器识别你的 GPU。

gpt-oss-20b 按发布格式 MXFP4 列在 Q4_K_M 表中,不列入 Q8_0 表:它的 GGUF 量化版本同样以 MXFP4 保存专家权重,各类型大小相近。

24 GB 显存的首选模型

类别 模型 总参数 激活参数 显存 token/s(RTX 4090) GPQA(自报)
最大稠密模型(Q4_K_M) Muse Glimmer 30B 29.8B 稠密 19.5 GB 29–40 —
最大 MoE(Q4_K_M) Ornith 1.5 35B-A3B (MoE) 36.0B 3.0B 23.5 GB,与 Qwen3.6 35B-A3B 并列 103–184 89.2
12 GB 以上模型中最长上下文(Q4_K_M) Nemotron 3 Nano 30B-A3B (MoE) 31.6B 3.5B 256K(完整),21.7 GB 109–196 73.0
Q8_0 下最大 Gemma 4 12B 12.0B 稠密 14.6 GB 38–54 78.8

GPQA 是研究生水平的科学选择题(四选一,瞎猜约 25%)。分数由各厂商在自家模型卡或技术报告中自报,点击数字可查看来源(2026-09-30 读取),本站没有重跑;推理强度、是否用工具等设置各家不同,相差几分说明不了什么。— 表示厂商没有公布。31 个模型有此分数。

24 GB 显存最好的本地大模型是什么?

按规模算,单张 24 GB 显卡在 Q4_K_M、32K 上下文下能放下的最大模型是并列的 Ornith 1.5 35B-A3B 和 Qwen3.6 35B-A3B(MoE,总参数 36.0B、激活 3.0B,23.5 GB,剩余 0.5 GB);我们收录的 69 个模型中有 35 个能放进。本页按显存和参数量排序,不按跑分排序;表中的 GPQA 一栏是各厂商在自家模型卡上自报的分数,仅供参考。

24 GB 显存能跑 70B 模型吗?

单卡不行:Llama 3.1 70B(70.6B)在 Q4_K_M、32K 上下文下需要 55.2 GB,或用 4 张 24 GB 显卡组成张量并行,即使用 IQ3_XXS 也要 41.3 GB。

逐步计算见 Llama 3.1 70B 显存页(英文)。

24 GB 显存上,Q8_0 和更大的模型哪个更好?

单张 24 GB 显卡、32K 上下文下,Q8_0 能放下的最大模型是 Gemma 4 12B(12.0B,14.6 GB,约 38–54 token/s),Q4_K_M 则是并列的 Ornith 1.5 35B-A3B 和 Qwen3.6 35B-A3B(MoE,总参数 36.0B、激活 3.0B,23.5 GB,约 103–184 token/s),总参数是前者的 3.0 倍。Q8_0 每个权重约 8.5 位,Q4_K_M 约 4.84 位;我们的数据只覆盖显存和速度,不评测输出质量,所以这里不给两者打分。

各 GGUF 类型的位数与取舍见 GGUF 量化类型详解(英文)。

能放进 24 GB 的最新模型

按模型数据加入或核对的日期排序,最新在前(Q4_K_M、32K 上下文)。新加入的模型会自动出现在这里。

模型 加入/核对 总参数 激活参数 显存 (GB) token/s GPQA(自报)
LightOnOCR-3 4B 4.5B 稠密 4.41 119–180 —
ThinkingCap Qwen3.8 27B 27.8B 稠密 19.92 28–39 —
LensVLM 9B 9.4B 稠密 7.43 73–106 —
Qwen3-Coder 30B-A3B (MoE) 30.5B 3.3B 22.72 53–92 —
Ornith 1.0 35B (MoE) 35.1B 3.0B 22.95 103–184 —
Ornith 1.0 9B 9.4B 稠密 7.43 73–106 —
Granite 4.2 8B 8.8B 稠密 11.45 48–68 64.14
Granite 4.2 3B 3.7B 稠密 5.52 97–143 54.8

Q4_K_M 下能放进 24 GB 的全部 35 个模型

模型 总参数 激活参数 显存 (GB) 剩余 (GB) token/s GPQA(自报) 计算器
Ornith 1.5 35B-A3B (MoE) 36.0B 3.0B 23.47 0.53 103–184 89.2 打开
Qwen3.6 35B-A3B (MoE) 36.0B 3.0B 23.47 0.53 103–184 86.0 打开
Ornith 1.0 35B (MoE) 35.1B 3.0B 22.95 1.05 103–184 — 打开
LLM-jp-4.1 32B-A3B Thinking (MoE) 32.1B 3.8B 22.62 1.38 62–107 — 打开
Nemotron 3 Nano 30B-A3B (MoE) 31.6B 3.5B 20.28 3.72 109–196 73.0 打开
GLM-4.7 Flash 31.2B 3.0B 21.67 2.33 75–131 75.2 打开
Xing 4.0 29B-A4B (MoE) 31.2B 4.0B 21.39 2.61 69–121 — 打开
Qwen3 30B-A3B (MoE) 30.5B 3.3B 22.72 1.28 53–92 — 打开
Qwen3-Coder 30B-A3B (MoE) 30.5B 3.3B 22.72 1.28 53–92 — 打开
Muse Glimmer 30B 29.8B 稠密 19.51 4.49 29–40 — 打开
Qwen3.6 27B 27.8B 稠密 19.92 4.08 28–39 87.8 打开
Qwen3.8 27B 27.8B 稠密 19.92 4.08 28–39 89.2 打开
ThinkingCap Qwen3.8 27B 27.8B 稠密 19.92 4.08 28–39 — 打开
Hemmingway-1 27B 27.3B 稠密 19.63 4.37 28–40 — 打开
Gemma 4 26B-A4B (MoE) 25.8B 4.0B 17.50 6.50 78–138 82.3 打开
gpt-oss-20b MXFP4 20.9B 3.6B 15.44 8.56 83–146 71.5 打开
Gemma 4 12B 12.0B 稠密 8.98 15.02 61–87 78.8 打开
ZDTaichu 5.0 9B 9.8B 稠密 7.67 16.33 71–102 — 打开
Ornith 1.5 9B 9.7B 稠密 7.58 16.42 72–104 86.4 打开
Qwen3.5 9B 9.7B 稠密 7.58 16.42 72–104 81.7 打开
LensVLM 9B 9.4B 稠密 7.43 16.57 73–106 — 打开
MiMo V2.6 Distill Qwen 9B 9.4B 稠密 7.43 16.57 73–106 — 打开
Ornith 1.0 9B 9.4B 稠密 7.43 16.57 73–106 — 打开
Granite 4.2 8B 8.8B 稠密 11.45 12.55 48–68 64.14 打开
LFM2.5 8B-A1B (MoE) 8.5B 1.5B 6.16 17.84 171–323 — 打开
Qwen3 8B 8.2B 稠密 10.53 13.47 52–74 — 打开
Llama 3.1 8B 8.0B 稠密 9.88 14.12 56–79 30.4 打开
Gemma 4 E4B 8.0B 稠密 6.05 17.95 89–130 58.6 打开
Ling 3.0 Tiny 7.9B-A1.3B (MoE) 7.9B 1.3B 5.62 18.38 206–398 — 打开
LightOnOCR-3 4B 4.5B 稠密 4.41 19.59 119–180 — 打开
Spark-X2.5 4B 4.1B 稠密 4.40 19.60 119–181 67.4 打开
Nemotron 3 Nano 4B 4.0B 稠密 3.51 20.49 147–228 53.2 打开
Granite 4.2 3B 3.7B 稠密 5.52 18.48 97–143 54.8 打开
MiniCPM5 2B 2.5B 稠密 3.50 20.50 147–228 — 打开
Limite 1B Violetto 1.0B 稠密 1.62 22.38 288–513 — 打开

Q8_0 下能放进 24 GB 的全部 19 个模型

模型 总参数 激活参数 显存 (GB) 剩余 (GB) token/s GPQA(自报) 计算器
Gemma 4 12B 12.0B 稠密 14.58 9.42 38–54 78.8 打开
ZDTaichu 5.0 9B 9.8B 稠密 12.26 11.74 45–64 — 打开
Ornith 1.5 9B 9.7B 稠密 12.11 11.89 46–65 86.4 打开
Qwen3.5 9B 9.7B 稠密 12.11 11.89 46–65 81.7 打开
LensVLM 9B 9.4B 稠密 11.84 12.16 47–66 — 打开
MiMo V2.6 Distill Qwen 9B 9.4B 稠密 11.84 12.16 47–66 — 打开
Ornith 1.0 9B 9.4B 稠密 11.84 12.16 47–66 — 打开
Granite 4.2 8B 8.8B 稠密 15.57 8.43 36–50 64.14 打开
LFM2.5 8B-A1B (MoE) 8.5B 1.5B 10.13 13.87 123–224 — 打开
Qwen3 8B 8.2B 稠密 14.37 9.63 39–54 — 打开
Llama 3.1 8B 8.0B 稠密 13.64 10.36 41–57 30.4 打开
Gemma 4 E4B 8.0B 稠密 9.80 14.20 56–80 58.6 打开
Ling 3.0 Tiny 7.9B-A1.3B (MoE) 7.9B 1.3B 9.32 14.68 147–271 — 打开
LightOnOCR-3 4B 4.5B 稠密 6.54 17.46 82–120 — 打开
Spark-X2.5 4B 4.1B 稠密 6.33 17.67 85–125 67.4 打开
Nemotron 3 Nano 4B 4.0B 稠密 5.38 18.62 99–147 53.2 打开
Granite 4.2 3B 3.7B 稠密 7.23 16.77 75–109 54.8 打开
MiniCPM5 2B 2.5B 稠密 4.68 19.32 113–169 — 打开
Limite 1B Violetto 1.0B 稠密 2.11 21.89 231–388 — 打开

可用内存约 24 GB 的 Mac 与纯 CPU 电脑

这些机器留给模型的内存在 24 GB 到下一档之间:Mac 按 macOS 默认允许 GPU 使用的统一内存(32 GB 及以下约三分之二,更大约 75%,可用 sudo sysctl iogpu.wired_limit_mb 调高),纯 CPU 电脑按系统内存减去约 6 GB 系统占用。上面的列表同样适用,速度则取决于各自的带宽;纯 CPU 在处理长提示词时还会慢得多。

机器 可用内存 带宽 Q4_K_M 可放下(8K) 32K 下最大的模型 token/s
M3 Pro Mac (36 GB) 27 GB 150 GB/s 39 Ornith 1.5 35B-A3B 18–30
M3 Max Mac (36 GB) 27 GB 300 GB/s 39 Ornith 1.5 35B-A3B 34–59
M4 Max Mac (36 GB) 27 GB 410 GB/s 39 Ornith 1.5 35B-A3B 46–79
M5 Max Mac (36 GB) 27 GB 460 GB/s 39 Ornith 1.5 35B-A3B 51–88
CPU only, DDR4-3200 dual channel (32 GB) 26 GB 51.2 GB/s 39 Ornith 1.5 35B-A3B 6.1–11
CPU only, DDR5-5600 dual channel (32 GB) 26 GB 89.6 GB/s 39 Ornith 1.5 35B-A3B 11–20

其他显存容量

所有数字(含 8K 与 128K 上下文)见开放数据集,汇总见大模型显存统计;任意设置可在显存计算器中重算。