48 GB 显存最佳本地大模型
单张 48 GB 显卡、Q4_K_M、32K 上下文下，最大的稠密模型是 Gemma 4 31B（31.3B，23.9 GB，在一张 L40S 上约 20–28 token/s）；最大的 MoE 是 K2-Horizon MoVA 36B-A4B（总参数 37.4B、激活 4.0B，30.3 GB，约 28–48 token/s）；占用 24 GB 以上的模型中，上下文最长的是 K2-Horizon MoVA 36B-A4B（最多 115K 上下文占 47.5 GB）；Q8_0 下最大的是并列的 Ornith 1.5 35B-A3B 和 Qwen3.6 35B-A3B（MoE，总参数 36.0B、激活 3.0B，40.3 GB）。
更新于 （本页所列模型中最近一次数据核对的日期），共 61 个模型。按显存和参数量排序，不是质量排名。总显存 = 权重 + FP16 KV 缓存（单个请求）+ 0.5 GB + 10% 开销；GB = GiB。显卡上至少还剩 0.5 GB 才算能放进，与 Can I run it? 页面（英文）一致。速度是在一张 L40S（864 GB/s）上、32K 上下文已填满时的带宽估算，不是实测。不确定显存大小？让浏览器识别你的 GPU。
gpt-oss-20b 按发布格式 MXFP4 列在 Q4_K_M 表中，不列入 Q8_0 表：它的 GGUF 量化版本同样以 MXFP4 保存专家权重，各类型大小相近。
48 GB 显存的首选模型
| 类别 | 模型 | 总参数 | 激活参数 | 显存 | token/s（L40S） |
|---|---|---|---|---|---|
| 最大稠密模型（Q4_K_M） | Gemma 4 31B | 31.3B | 稠密 | 23.9 GB | 20–28 |
| 最大 MoE（Q4_K_M） | K2-Horizon MoVA 36B-A4B (MoE) | 37.4B | 4.0B | 30.3 GB | 28–48 |
| 24 GB 以上模型中最长上下文（Q4_K_M） | K2-Horizon MoVA 36B-A4B (MoE) | 37.4B | 4.0B | 115K，47.5 GB | 28–48 |
| Q8_0 下最大 | Ornith 1.5 35B-A3B (MoE) | 36.0B | 3.0B | 40.3 GB，与 Qwen3.6 35B-A3B 并列 | 61–106 |
48 GB 显存最好的本地大模型是什么？
按规模算，单张 48 GB 显卡在 Q4_K_M、32K 上下文下能放下的最大模型是 K2-Horizon MoVA 36B-A4B（MoE，总参数 37.4B、激活 4.0B，30.3 GB，剩余 17.7 GB）；我们收录的 61 个模型中有 35 个能放进。本页按显存和参数量排序，不含跑分，我们的数据也不包含质量评测。
48 GB 显存能跑 70B 模型吗？
只能用更低的精度：Llama 3.1 70B（70.6B）在 Q4_K_M、32K 上下文下需要 55.2 GB，但用 Q3_K_M 可放进单张 48 GB 显卡（46.8 GB）。在 Q4_K_M 下，把上下文降到 9K 以内就能放进单卡。
逐步计算见 Llama 3.1 70B 显存页（英文）。
48 GB 显存上，Q8_0 和更大的模型哪个更好？
单张 48 GB 显卡、32K 上下文下，Q8_0 能放下的最大模型是并列的 Ornith 1.5 35B-A3B 和 Qwen3.6 35B-A3B（MoE，总参数 36.0B、激活 3.0B，40.3 GB，约 61–106 token/s），Q4_K_M 则是 K2-Horizon MoVA 36B-A4B（MoE，总参数 37.4B、激活 4.0B，30.3 GB，约 28–48 token/s），总参数是前者的 1.0 倍。Q8_0 每个权重约 8.5 位，Q4_K_M 约 4.84 位；我们的数据只覆盖显存和速度，不评测输出质量，所以这里不给两者打分。
各 GGUF 类型的位数与取舍见 GGUF 量化类型详解（英文）。
能放进 48 GB 的最新模型
按模型数据加入或核对的日期排序，最新在前（Q4_K_M、32K 上下文）。新加入的模型会自动出现在这里。
| 模型 | 加入/核对 | 总参数 | 激活参数 | 显存 (GB) | token/s |
|---|---|---|---|---|---|
| Qwen3-Coder 30B-A3B (MoE) | 30.5B | 3.3B | 22.72 | 46–80 | |
| Ornith 1.0 35B (MoE) | 35.1B | 3.0B | 22.95 | 90–160 | |
| Ornith 1.0 9B | 9.4B | 稠密 | 7.43 | 64–91 | |
| Granite 4.2 30B | 29.3B | 稠密 | 27.45 | 18–24 | |
| Granite 4.2 8B | 8.8B | 稠密 | 11.45 | 42–59 | |
| Granite 4.2 3B | 3.7B | 稠密 | 5.52 | 85–124 | |
| Spark-X2.5 4B | 4.1B | 稠密 | 4.40 | 105–157 | |
| Ling 3.0 Tiny 7.9B-A1.3B (MoE) | 7.9B | 1.3B | 5.62 | 185–352 |
Q4_K_M 下能放进 48 GB 的全部 35 个模型
| 模型 | 总参数 | 激活参数 | 显存 (GB) | 剩余 (GB) | token/s | 计算器 |
|---|---|---|---|---|---|---|
| K2-Horizon MoVA 36B-A4B (MoE) | 37.4B | 4.0B | 30.31 | 17.69 | 28–48 | 打开 |
| Ornith 1.5 35B-A3B (MoE) | 36.0B | 3.0B | 23.47 | 24.53 | 90–160 | 打开 |
| Qwen3.6 35B-A3B (MoE) | 36.0B | 3.0B | 23.47 | 24.53 | 90–160 | 打开 |
| Ornith 1.0 35B (MoE) | 35.1B | 3.0B | 22.95 | 25.05 | 90–160 | 打开 |
| LLM-jp-4.1 32B-A3B Thinking (MoE) | 32.1B | 3.8B | 22.62 | 25.38 | 53–92 | 打开 |
| Nemotron 3 Nano 30B-A3B (MoE) | 31.6B | 3.5B | 20.28 | 27.72 | 96–170 | 打开 |
| Gemma 4 31B | 31.3B | 稠密 | 23.92 | 24.08 | 20–28 | 打开 |
| GLM-4.7 Flash | 31.2B | 3.0B | 21.67 | 26.33 | 65–114 | 打开 |
| Xing 4.0 29B-A4B (MoE) | 31.2B | 4.0B | 21.39 | 26.61 | 60–104 | 打开 |
| Qwen3 30B-A3B (MoE) | 30.5B | 3.3B | 22.72 | 25.28 | 46–80 | 打开 |
| Qwen3-Coder 30B-A3B (MoE) | 30.5B | 3.3B | 22.72 | 25.28 | 46–80 | 打开 |
| Muse Glimmer 30B | 29.8B | 稠密 | 19.51 | 28.49 | 25–34 | 打开 |
| Granite 4.2 30B | 29.3B | 稠密 | 27.45 | 20.55 | 18–24 | 打开 |
| Qwen3.6 27B | 27.8B | 稠密 | 19.92 | 28.08 | 24–34 | 打开 |
| Qwen3.8 27B | 27.8B | 稠密 | 19.92 | 28.08 | 24–34 | 打开 |
| Hemmingway-1 27B | 27.3B | 稠密 | 19.63 | 28.37 | 25–34 | 打开 |
| Gemma 4 26B-A4B (MoE) | 25.8B | 4.0B | 17.50 | 30.50 | 68–119 | 打开 |
| gpt-oss-20b MXFP4 | 20.9B | 3.6B | 15.44 | 32.56 | 72–127 | 打开 |
| Gemma 4 12B | 12.0B | 稠密 | 8.98 | 39.02 | 53–75 | 打开 |
| ZDTaichu 5.0 9B | 9.8B | 稠密 | 7.67 | 40.33 | 62–88 | 打开 |
| Ornith 1.5 9B | 9.7B | 稠密 | 7.58 | 40.42 | 62–90 | 打开 |
| Qwen3.5 9B | 9.7B | 稠密 | 7.58 | 40.42 | 62–90 | 打开 |
| MiMo V2.6 Distill Qwen 9B | 9.4B | 稠密 | 7.43 | 40.57 | 64–91 | 打开 |
| Ornith 1.0 9B | 9.4B | 稠密 | 7.43 | 40.57 | 64–91 | 打开 |
| Granite 4.2 8B | 8.8B | 稠密 | 11.45 | 36.55 | 42–59 | 打开 |
| LFM2.5 8B-A1B (MoE) | 8.5B | 1.5B | 6.16 | 41.84 | 153–283 | 打开 |
| Qwen3 8B | 8.2B | 稠密 | 10.53 | 37.47 | 45–64 | 打开 |
| Llama 3.1 8B | 8.0B | 稠密 | 9.88 | 38.12 | 48–68 | 打开 |
| Gemma 4 E4B | 8.0B | 稠密 | 6.05 | 41.95 | 78–113 | 打开 |
| Ling 3.0 Tiny 7.9B-A1.3B (MoE) | 7.9B | 1.3B | 5.62 | 42.38 | 185–352 | 打开 |
| Spark-X2.5 4B | 4.1B | 稠密 | 4.40 | 43.60 | 105–157 | 打开 |
| Nemotron 3 Nano 4B | 4.0B | 稠密 | 3.51 | 44.49 | 130–198 | 打开 |
| Granite 4.2 3B | 3.7B | 稠密 | 5.52 | 42.48 | 85–124 | 打开 |
| MiniCPM5 2B | 2.5B | 稠密 | 3.50 | 44.50 | 130–199 | 打开 |
| Limite 1B Violetto | 1.0B | 稠密 | 1.62 | 46.38 | 263–457 | 打开 |
Q8_0 下能放进 48 GB 的全部 33 个模型
| 模型 | 总参数 | 激活参数 | 显存 (GB) | 剩余 (GB) | token/s | 计算器 |
|---|---|---|---|---|---|---|
| Ornith 1.5 35B-A3B (MoE) | 36.0B | 3.0B | 40.32 | 7.68 | 61–106 | 打开 |
| Qwen3.6 35B-A3B (MoE) | 36.0B | 3.0B | 40.32 | 7.68 | 61–106 | 打开 |
| Ornith 1.0 35B (MoE) | 35.1B | 3.0B | 39.40 | 8.60 | 61–106 | 打开 |
| LLM-jp-4.1 32B-A3B Thinking (MoE) | 32.1B | 3.8B | 37.68 | 10.32 | 39–67 | 打开 |
| Nemotron 3 Nano 30B-A3B (MoE) | 31.6B | 3.5B | 35.08 | 12.92 | 60–104 | 打开 |
| Gemma 4 31B | 31.3B | 稠密 | 38.58 | 9.42 | 13–17 | 打开 |
| GLM-4.7 Flash | 31.2B | 3.0B | 36.30 | 11.70 | 48–83 | 打开 |
| Xing 4.0 29B-A4B (MoE) | 31.2B | 4.0B | 36.02 | 11.98 | 42–72 | 打开 |
| Qwen3 30B-A3B (MoE) | 30.5B | 3.3B | 37.03 | 10.97 | 36–62 | 打开 |
| Qwen3-Coder 30B-A3B (MoE) | 30.5B | 3.3B | 37.03 | 10.97 | 36–62 | 打开 |
| Muse Glimmer 30B | 29.8B | 稠密 | 33.46 | 14.54 | 14–20 | 打开 |
| Granite 4.2 30B | 29.3B | 稠密 | 41.17 | 6.83 | 12–16 | 打开 |
| Qwen3.6 27B | 27.8B | 稠密 | 32.94 | 15.06 | 15–20 | 打开 |
| Qwen3.8 27B | 27.8B | 稠密 | 32.94 | 15.06 | 15–20 | 打开 |
| Hemmingway-1 27B | 27.3B | 稠密 | 32.44 | 15.56 | 15–21 | 打开 |
| Gemma 4 26B-A4B (MoE) | 25.8B | 4.0B | 29.60 | 18.40 | 46–79 | 打开 |
| Gemma 4 12B | 12.0B | 稠密 | 14.58 | 33.42 | 33–46 | 打开 |
| ZDTaichu 5.0 9B | 9.8B | 稠密 | 12.26 | 35.74 | 39–55 | 打开 |
| Ornith 1.5 9B | 9.7B | 稠密 | 12.11 | 35.89 | 39–56 | 打开 |
| Qwen3.5 9B | 9.7B | 稠密 | 12.11 | 35.89 | 39–56 | 打开 |
| MiMo V2.6 Distill Qwen 9B | 9.4B | 稠密 | 11.84 | 36.16 | 40–57 | 打开 |
| Ornith 1.0 9B | 9.4B | 稠密 | 11.84 | 36.16 | 40–57 | 打开 |
| Granite 4.2 8B | 8.8B | 稠密 | 15.57 | 32.43 | 31–43 | 打开 |
| LFM2.5 8B-A1B (MoE) | 8.5B | 1.5B | 10.13 | 37.87 | 109–195 | 打开 |
| Qwen3 8B | 8.2B | 稠密 | 14.37 | 33.63 | 33–47 | 打开 |
| Llama 3.1 8B | 8.0B | 稠密 | 13.64 | 34.36 | 35–49 | 打开 |
| Gemma 4 E4B | 8.0B | 稠密 | 9.80 | 38.20 | 49–69 | 打开 |
| Ling 3.0 Tiny 7.9B-A1.3B (MoE) | 7.9B | 1.3B | 9.32 | 38.68 | 130–237 | 打开 |
| Spark-X2.5 4B | 4.1B | 稠密 | 6.33 | 41.67 | 74–108 | 打开 |
| Nemotron 3 Nano 4B | 4.0B | 稠密 | 5.38 | 42.62 | 87–127 | 打开 |
| Granite 4.2 3B | 3.7B | 稠密 | 7.23 | 40.77 | 65–94 | 打开 |
| MiniCPM5 2B | 2.5B | 稠密 | 4.68 | 43.32 | 99–147 | 打开 |
| Limite 1B Violetto | 1.0B | 稠密 | 2.11 | 45.89 | 208–342 | 打开 |
可用内存约 48 GB 的 Mac 与纯 CPU 电脑
这些机器留给模型的内存在 48 GB 到下一档之间：Mac 按 macOS 默认允许 GPU 使用的统一内存（32 GB 及以下约三分之二，更大约 75%，可用 sudo sysctl iogpu.wired_limit_mb 调高），纯 CPU 电脑按系统内存减去约 6 GB 系统占用。上面的列表同样适用，速度则取决于各自的带宽；纯 CPU 在处理长提示词时还会慢得多。
| 机器 | 可用内存 | 带宽 | Q4_K_M 可放下（8K） | 32K 下最大的模型 | token/s |
|---|---|---|---|---|---|
| M4 Pro Mac (64 GB) | 48 GB | 273 GB/s | 36 | K2-Horizon MoVA 36B-A4B | 9.1–15 |
| M5 Pro Mac (64 GB) | 48 GB | 307 GB/s | 36 | K2-Horizon MoVA 36B-A4B | 10–17 |
| M1–M3 Max Mac (64 GB) | 48 GB | 400 GB/s | 36 | K2-Horizon MoVA 36B-A4B | 13–22 |
| M4 Max Mac (64 GB) | 48 GB | 546 GB/s | 36 | K2-Horizon MoVA 36B-A4B | 18–30 |
| M5 Max Mac (64 GB) | 48 GB | 614 GB/s | 36 | K2-Horizon MoVA 36B-A4B | 20–34 |
| CPU only, DDR4-3200 dual channel (64 GB) | 58 GB | 51.2 GB/s | 38 | AliceAI Foundation 80B-A3B | 5.8–11 |
| CPU only, DDR5-5600 dual channel (64 GB) | 58 GB | 89.6 GB/s | 38 | AliceAI Foundation 80B-A3B | 10–19 |