8–96 GB 显存能跑哪些本地大模型

单张 24 GB 显卡、Q4_K_M、32K 上下文下,最大的稠密模型是 Muse Glimmer 30B(29.8B,19.5 GB,在一张 RTX 4090 上约 29–40 token/s);最大的 MoE 是并列的 Ornith 1.5 35B-A3B 和 Qwen3.6 35B-A3B(总参数 36.0B、激活 3.0B,23.5 GB,约 103–184 token/s);占用 12 GB 以上的模型中,上下文最长的是 Nemotron 3 Nano 30B-A3B(完整 256K 上下文占 21.7 GB);Q8_0 下最大的是 Gemma 4 12B(12.0B,14.6 GB)。

下表列出每档显存在 32,768 token 上下文、单个请求、FP16 KV 缓存下能放进单张显卡的最大模型,点击容量查看该档的完整列表、最新模型和常见问题。这是容量对比,不是质量排名。总显存 = 权重 + KV 缓存 + 0.5 GB + 10% 开销;GB = GiB。速度为该档一张代表显卡上的带宽估算。数据更新于 。

不确定自己的显存有多大?让浏览器识别你的 GPU,直接看电脑能跑什么。

每个模型所需的显存:一张图看全

纵轴
69 个开源模型:所需显存与参数量 横轴:Q4_K_M、8K 上下文下所需显存(对数刻度);纵轴:总参数量(对数刻度);竖线为 8、12、16、24、32、48、80 GB 显卡。 8 GB 12 GB 16 GB 24 GB 32 GB 48 GB 80 GB 12481632641282565121,0242,048 1B3B10B30B100B300B1T3T 20406080100 所需显存(GB,Q4_K_M,8K 上下文) 总参数量 GPQA(%,厂商自报) Kimi K3:Q4_K_M 下 1,724 GB,2.78T 总参数,激活 104.0B Qwen3.8 2.4T-A95B:Q4_K_M 下 1,517 GB,2.45T 总参数,激活 95.0B DeepSeek V4 Pro:Q4_K_M 下 993 GB,1.60T 总参数,激活 49.0B MiMo V2.6 Pro:Q4_K_M 下 636 GB,1.02T 总参数,激活 42.0B Hy4 Preview 770B-A49B:Q4_K_M 下 485 GB,780.0B 总参数,激活 49.0B DeepSeek V4.1 Flash 1017:Q4_K_M 下 474 GB,763.2B 总参数,激活 16.0B DeepSeek V4.1 Flash:Q4_K_M 下 474 GB,763.2B 总参数,激活 16.0B GLM-5.3:Q4_K_M 下 468 GB,753.3B 总参数,激活 40.0B GLM-5.2:Q4_K_M 下 468 GB,753.3B 总参数,激活 40.0B DeepSeek V3.2:Q4_K_M 下 426 GB,685.4B 总参数,激活 37.0B DeepSeek V3 / R1:Q4_K_M 下 425 GB,684.5B 总参数,激活 37.0B Ling 3.1 Flash 560B-A25B:Q4_K_M 下 355 GB,572.1B 总参数,激活 25.0B MiniMax M3:Q4_K_M 下 266 GB,427.0B 总参数,激活 23.0B GLM-5.3 Flash:Q4_K_M 下 200 GB,321.3B 总参数,激活 18.0B IQuest-Q1 320B-A15B:Q4_K_M 下 201 GB,320.3B 总参数,激活 15.0B MiMo V2.6 Flash:Q4_K_M 下 193 GB,310.8B 总参数,激活 15.0B DeepSeek V4 Flash 0731:Q4_K_M 下 190 GB,304.2B 总参数,激活 13.0B DeepSeek V4 Flash:Q4_K_M 下 182 GB,290.9B 总参数,激活 13.0B MiniMax M2.7:Q4_K_M 下 144 GB,228.7B 总参数,激活 10.0B Step 3.7 Flash 196B-A11B:Q4_K_M 下 126 GB,201.4B 总参数,激活 11.0B Qwen3.8 Flash Next:Q4_K_M 下 112 GB,180.0B 总参数,激活 6.0B Mistral Medium 3.5 128B:Q4_K_M 下 82.7 GB,127.7B 参数 Qwen3.5 122B-A10B:Q4_K_M 下 78.2 GB,125.1B 总参数,激活 10.0B Nemotron 3.5 Super VL 120B-A12B:Q4_K_M 下 77.7 GB,124.5B 总参数,激活 12.0B Nemotron 3 Super 120B-A12B:Q4_K_M 下 77.2 GB,123.6B 总参数,激活 12.0B gpt-oss-120b:MXFP4 下 67.7 GB,116.8B 总参数,激活 5.1B AliceAI Foundation 80B-A3B:Q4_K_M 下 51.1 GB,81.3B 总参数,激活 3.0B Qwen3-Coder-Next:Q4_K_M 下 50.1 GB,79.7B 总参数,激活 3.0B Kolibri-1:Q4_K_M 下 49.2 GB,78.1B 总参数,激活 3.5B Llama 3.1 70B:Q4_K_M 下 47.0 GB,70.6B 参数 K2-Horizon MoVA 36B-A4B:Q4_K_M 下 25.4 GB,37.4B 总参数,激活 4.0B Ornith 1.5 35B-A3B:Q4_K_M 下 23.0 GB,36.0B 总参数,激活 3.0B Qwen3.6 35B-A3B:Q4_K_M 下 23.0 GB,36.0B 总参数,激活 3.0B Ornith 1.0 35B:Q4_K_M 下 22.4 GB,35.1B 总参数,激活 3.0B LLM-jp-4.1 32B-A3B Thinking:Q4_K_M 下 21.0 GB,32.1B 总参数,激活 3.8B Nemotron 3 Nano 30B-A3B:Q4_K_M 下 20.1 GB,31.6B 总参数,激活 3.5B Gemma 4 31B:Q4_K_M 下 21.9 GB,31.3B 参数 GLM-4.7 Flash:Q4_K_M 下 20.3 GB,31.2B 总参数,激活 3.0B Xing 4.0 29B-A4B:Q4_K_M 下 20.2 GB,31.2B 总参数,激活 4.0B Qwen3-Coder 30B-A3B:Q4_K_M 下 20.2 GB,30.5B 总参数,激活 3.3B Qwen3 30B-A3B:Q4_K_M 下 20.2 GB,30.5B 总参数,激活 3.3B Muse Glimmer 30B:Q4_K_M 下 19.2 GB,29.8B 参数 Granite 4.2 30B:Q4_K_M 下 20.8 GB,29.3B 参数 ThinkingCap Qwen3.8 27B:Q4_K_M 下 18.3 GB,27.8B 参数 Qwen3.6 27B:Q4_K_M 下 18.3 GB,27.8B 参数 Qwen3.8 27B:Q4_K_M 下 18.3 GB,27.8B 参数 Hemmingway-1 27B:Q4_K_M 下 18.0 GB,27.3B 参数 Gemma 4 26B-A4B:Q4_K_M 下 17.0 GB,25.8B 总参数,激活 4.0B gpt-oss-20b:MXFP4 下 14.8 GB,20.9B 总参数,激活 3.6B Gemma 4 12B:Q4_K_M 下 8.6 GB,12.0B 参数 ZDTaichu 5.0 9B:Q4_K_M 下 6.8 GB,9.8B 参数 Ornith 1.5 9B:Q4_K_M 下 6.8 GB,9.7B 参数 Qwen3.5 9B:Q4_K_M 下 6.8 GB,9.7B 参数 LensVLM 9B:Q4_K_M 下 6.6 GB,9.4B 参数 Ornith 1.0 9B:Q4_K_M 下 6.6 GB,9.4B 参数 MiMo V2.6 Distill Qwen 9B:Q4_K_M 下 6.6 GB,9.4B 参数 Bespoke Nimble 9B:Q4_K_M 下 6.3 GB,9.0B 参数 Granite 4.2 8B:Q4_K_M 下 7.3 GB,8.8B 参数 LFM2.5 8B-A1B:Q4_K_M 下 5.9 GB,8.5B 总参数,激活 1.5B Qwen3 8B:Q4_K_M 下 6.8 GB,8.2B 参数 Llama 3.1 8B:Q4_K_M 下 6.6 GB,8.0B 参数 Gemma 4 E4B:Q4_K_M 下 5.6 GB,8.0B 参数 Ling 3.0 Tiny 7.9B-A1.3B:Q4_K_M 下 5.5 GB,7.9B 总参数,激活 1.3B LightOnOCR-3 4B:Q4_K_M 下 3.6 GB,4.5B 参数 Spark-X2.5 4B:Q4_K_M 下 3.5 GB,4.1B 参数 Nemotron 3 Nano 4B:Q4_K_M 下 3.1 GB,4.0B 参数 Granite 4.2 3B:Q4_K_M 下 3.5 GB,3.7B 参数 MiniCPM5 2B:Q4_K_M 下 2.4 GB,2.5B 参数 Limite 1B Violetto:Q4_K_M 下 1.3 GB,1.0B 参数 Kimi K3:GPQA Diamond 93.5, max reasoning effort(厂商自报);Q4_K_M 下 1,724 GB DeepSeek V4 Pro:GPQA Diamond 90.1, V4-Pro Max reasoning(厂商自报);Q4_K_M 下 993 GB DeepSeek V4.1 Flash:GPQA Diamond 90.9(厂商自报);Q4_K_M 下 474 GB GLM-5.2:GPQA Diamond 91.2(厂商自报);Q4_K_M 下 468 GB DeepSeek V3 / R1:GPQA Diamond 59.1, chat model(厂商自报);Q4_K_M 下 425 GB DeepSeek V4 Flash:GPQA Diamond 88.1, V4-Flash Max reasoning(厂商自报);Q4_K_M 下 182 GB Qwen3.8 Flash Next:GPQA Diamond 91.7(厂商自报);Q4_K_M 下 112 GB Qwen3.5 122B-A10B:GPQA Diamond 86.6(厂商自报);Q4_K_M 下 78.2 GB Nemotron 3 Super 120B-A12B:GPQA (no tools) 79.23(厂商自报);Q4_K_M 下 77.2 GB gpt-oss-120b:GPQA Diamond (no tools) 80.1, reasoning high(厂商自报);Q4_K_M 下 67.7 GB Llama 3.1 70B:GPQA, 0-shot 46.7(厂商自报);Q4_K_M 下 47.0 GB K2-Horizon MoVA 36B-A4B:GPQA Diamond 80.8(厂商自报);Q4_K_M 下 25.4 GB Ornith 1.5 35B-A3B:GPQA Diamond 89.2(厂商自报);Q4_K_M 下 23.0 GB Qwen3.6 35B-A3B:GPQA 86.0(厂商自报);Q4_K_M 下 23.0 GB Nemotron 3 Nano 30B-A3B:GPQA (no tools) 73.0, reasoning on(厂商自报);Q4_K_M 下 20.1 GB Gemma 4 31B:GPQA Diamond 84.3(厂商自报);Q4_K_M 下 21.9 GB GLM-4.7 Flash:GPQA 75.2(厂商自报);Q4_K_M 下 20.3 GB Granite 4.2 30B:GPQA 66.41(厂商自报);Q4_K_M 下 20.8 GB Qwen3.6 27B:GPQA Diamond 87.8(厂商自报);Q4_K_M 下 18.3 GB Qwen3.8 27B:GPQA Diamond 89.2(厂商自报);Q4_K_M 下 18.3 GB Gemma 4 26B-A4B:GPQA Diamond 82.3(厂商自报);Q4_K_M 下 17.0 GB gpt-oss-20b:GPQA Diamond (no tools) 71.5, reasoning high(厂商自报);Q4_K_M 下 14.8 GB Gemma 4 12B:GPQA Diamond 78.8(厂商自报);Q4_K_M 下 8.6 GB Ornith 1.5 9B:GPQA Diamond 86.4(厂商自报);Q4_K_M 下 6.8 GB Qwen3.5 9B:GPQA Diamond 81.7(厂商自报);Q4_K_M 下 6.8 GB Granite 4.2 8B:GPQA 64.14(厂商自报);Q4_K_M 下 7.3 GB Llama 3.1 8B:GPQA, 0-shot 30.4(厂商自报);Q4_K_M 下 6.6 GB Gemma 4 E4B:GPQA Diamond 58.6(厂商自报);Q4_K_M 下 5.6 GB Spark-X2.5 4B:GPQA 67.4(厂商自报);Q4_K_M 下 3.5 GB Nemotron 3 Nano 4B:GPQA 53.2, reasoning on(厂商自报);Q4_K_M 下 3.1 GB Granite 4.2 3B:GPQA 54.8(厂商自报);Q4_K_M 下 3.5 GB
实心点为稠密模型,空心点为 MoE(悬停可见激活参数);gpt-oss 按发布的 MXFP4 计算。点击任一点进入该模型页。带名字的点是能放进每条竖线(留 0.5 GB)的最大模型。纵轴默认是参数量,来自 Hugging Face 上的 safetensors 元数据,不是质量分,参数更多不等于更好。切换到 GPQA 时,纵轴是各厂商在自家模型卡或技术报告里自报的 GPQA 分数(2026-09-30 读取,本站未重跑,各家的推理设置不同);没有公布分数的 38 个模型不显示,带名字的点是能放进每条竖线的自报分数最高的模型。来源链接在各模型页的“Model details”里。

各档显存的首选模型(Q4_K_M、32K 上下文)

显存 最大稠密模型 最大 MoE 最长上下文(占用过半显存的模型) Q8_0 下最大 能放进
8 GB
RTX 4060 8GB
LensVLM 9B
7.4 GB, 21–30 tok/s
LFM2.5 8B-A1B (MoE)
6.2 GB, 57–99 tok/s
Ling 3.0 Tiny 7.9B-A1.3B (MoE)
128K, 6.3 GB
LightOnOCR-3 4B
6.5 GB
12 / 69
12 GB
RTX 4070 12GB
Gemma 4 12B
9.0 GB, 32–45 tok/s
LFM2.5 8B-A1B (MoE)
6.2 GB, 98–175 tok/s
Gemma 4 12B
178K, 11.5 GB
LFM2.5 8B-A1B (MoE)
10.1 GB
19 / 69
16 GB
RTX 5060 Ti 16GB
Gemma 4 12B
9.0 GB, 29–40 tok/s
gpt-oss-20b
MXFP4, 15.4 GB, 40–68 tok/s
Gemma 4 12B
256K, 12.8 GB
Gemma 4 12B
14.6 GB
20 / 69
24 GB
RTX 4090
Muse Glimmer 30B
19.5 GB, 29–40 tok/s
Ornith 1.5 35B-A3B (MoE)
23.5 GB, 103–184 tok/s
Nemotron 3 Nano 30B-A3B (MoE)
256K, 21.7 GB
Gemma 4 12B
14.6 GB
35 / 69
32 GB
RTX 5090
Gemma 4 31B
23.9 GB, 40–57 tok/s
K2-Horizon MoVA 36B-A4B (MoE)
30.3 GB, 56–96 tok/s
Ornith 1.5 35B-A3B (MoE)
256K, 28.3 GB
Gemma 4 26B-A4B (MoE)
29.6 GB
38 / 69
48 GB
L40S
Gemma 4 31B
23.9 GB, 20–28 tok/s
K2-Horizon MoVA 36B-A4B (MoE)
30.3 GB, 28–48 tok/s
K2-Horizon MoVA 36B-A4B (MoE)
115K, 47.5 GB
Ornith 1.5 35B-A3B (MoE)
40.3 GB
38 / 69
96 GB
RTX PRO 6000 Blackwell
Mistral Medium 3.5 128B
91.8 GB, 11–15 tok/s
Qwen3.5 122B-A10B (MoE)
78.8 GB, 70–123 tok/s
Nemotron 3.5 Super VL 120B-A12B (MoE)
1M, 86.4 GB
AliceAI Foundation 80B-A3B (MoE)
89.8 GB
47 / 69

每档显存的直接答案

完整的数字(含 8K 和 128K 上下文、FP16 以及 80 GB 显卡)见开放数据集和模型与 GPU 对比报告(英文);由这些数据算出的汇总数字见大模型显存统计,按显存分档的结论和 KV 缓存排行见2026 开源大模型显存报告。模型页(英文)列出了每一步计算。