LLM 速度计算器
选择模型和 GPU,设置量化精度和上下文长度,就能看到生成速度:包括显存带宽决定的理论上限,以及 llama.cpp、vLLM 等引擎在单个请求下能达到的速度区间。
高级:激活参数与多卡
如果放得下:
– token/秒
- 带宽上限
- –
- 每 token 读取量
- –
- 其中 KV cache
- –
- 生成 500 token 的回答
- –
读取提示词:首 token 时间
| 提示词 | 首 token 时间 | 提示词速度(pp) |
|---|---|---|
| 8,192 | – | – |
| 16,384 | – | – |
| 32,768 | – | – |
按 llama.cpp 开启 flash attention、单个请求、空缓存、量化 GGUF 估算。范围是同一类硬件在公开 llama-bench 实测中达到的 FP16 峰值占比的最低到最高值。
在其他硬件上
| GPU | 带宽 | token/秒 |
|---|---|---|
| RTX 4060 8GB | 272 GB/s | – |
| RTX 3060 12GB | 360 GB/s | – |
| Arc B580 12GB | 456 GB/s | – |
| RTX 4070 12GB | 504 GB/s | – |
| RTX 5070 12GB | 672 GB/s | – |
| RTX 4060 Ti 16GB | 288 GB/s | – |
| RTX 5060 Ti 16GB | 448 GB/s | – |
| RX 9070 XT 16GB | 644 GB/s | – |
| RTX 4070 Ti Super 16GB | 672 GB/s | – |
| RTX 4080 Super 16GB | 736 GB/s | – |
| RTX 5070 Ti 16GB | 896 GB/s | – |
| RTX 5080 16GB | 960 GB/s | – |
| RTX 3090 | 936 GB/s | – |
| RTX 4090 | 1,008 GB/s | – |
| RX 7900 XTX | 960 GB/s | – |
| RTX 5090 | 1,792 GB/s | – |
| M4 Pro Mac (64 GB) 统一内存约 75% 可供 GPU 使用 | 273 GB/s | – |
| M4 Max Mac (128 GB) 统一内存约 75% 可供 GPU 使用 | 546 GB/s | – |
| M3 Ultra Mac Studio (512 GB) 统一内存约 75% 可供 GPU 使用 | 819 GB/s | – |
| Ryzen AI Max+ 395 (128 GB) 最多可分配 96 GB 给 GPU | 256 GB/s | – |
| DGX Spark (128 GB) | 273 GB/s | – |
| L40S | 864 GB/s | – |
| RTX PRO 6000 Blackwell | 1,792 GB/s | – |
| A100 80GB | 2,039 GB/s | – |
| H100 SXM | 3,350 GB/s | – |
| H200 | 4,800 GB/s | – |
| B200 | 8,000 GB/s | – |
| M1 Mac (8 GB) 统一内存约三分之二可供 GPU 使用 | 68.25 GB/s | – |
| M1 Mac (16 GB) 统一内存约三分之二可供 GPU 使用 | 68.25 GB/s | – |
| M2 or M3 Mac (8 GB) 统一内存约三分之二可供 GPU 使用 | 100 GB/s | – |
| M2 or M3 Mac (16 GB) 统一内存约三分之二可供 GPU 使用 | 100 GB/s | – |
| M2 or M3 Mac (24 GB) 统一内存约三分之二可供 GPU 使用 | 100 GB/s | – |
| M4 Mac (16 GB) 统一内存约三分之二可供 GPU 使用 | 120 GB/s | – |
| M4 Mac (24 GB) 统一内存约三分之二可供 GPU 使用 | 120 GB/s | – |
| M4 Mac (32 GB) 统一内存约三分之二可供 GPU 使用 | 120 GB/s | – |
| M5 Mac (16 GB) 统一内存约三分之二可供 GPU 使用 | 153 GB/s | – |
| M5 Mac (24 GB) 统一内存约三分之二可供 GPU 使用 | 153 GB/s | – |
| M5 Mac (32 GB) 统一内存约三分之二可供 GPU 使用 | 153 GB/s | – |
| M1 Pro or M2 Pro Mac (16 GB) 统一内存约三分之二可供 GPU 使用 | 200 GB/s | – |
| M1 Pro or M2 Pro Mac (32 GB) 统一内存约三分之二可供 GPU 使用 | 200 GB/s | – |
| M3 Pro Mac (18 GB) 统一内存约三分之二可供 GPU 使用 | 150 GB/s | – |
| M3 Pro Mac (36 GB) 统一内存约 75% 可供 GPU 使用 | 150 GB/s | – |
| M4 Pro Mac (24 GB) 统一内存约三分之二可供 GPU 使用 | 273 GB/s | – |
| M4 Pro Mac (48 GB) 统一内存约 75% 可供 GPU 使用 | 273 GB/s | – |
| M5 Pro Mac (24 GB) 统一内存约三分之二可供 GPU 使用 | 307 GB/s | – |
| M5 Pro Mac (48 GB) 统一内存约 75% 可供 GPU 使用 | 307 GB/s | – |
| M5 Pro Mac (64 GB) 统一内存约 75% 可供 GPU 使用 | 307 GB/s | – |
| M1 Max or M2 Max Mac (32 GB) 统一内存约三分之二可供 GPU 使用 | 400 GB/s | – |
| M1–M3 Max Mac (64 GB) 统一内存约 75% 可供 GPU 使用 | 400 GB/s | – |
| M2 Max Mac (96 GB) 统一内存约 75% 可供 GPU 使用 | 400 GB/s | – |
| M3 Max Mac (36 GB) 统一内存约 75% 可供 GPU 使用 | 300 GB/s | – |
| M3 Max Mac (48 GB) 统一内存约 75% 可供 GPU 使用 | 400 GB/s | – |
| M3 Max Mac (96 GB) 统一内存约 75% 可供 GPU 使用 | 300 GB/s | – |
| M3 Max Mac (128 GB) 统一内存约 75% 可供 GPU 使用 | 400 GB/s | – |
| M4 Max Mac (36 GB) 统一内存约 75% 可供 GPU 使用 | 410 GB/s | – |
| M4 Max Mac (48 GB) 统一内存约 75% 可供 GPU 使用 | 546 GB/s | – |
| M4 Max Mac (64 GB) 统一内存约 75% 可供 GPU 使用 | 546 GB/s | – |
| M5 Max Mac (36 GB) 统一内存约 75% 可供 GPU 使用 | 460 GB/s | – |
| M5 Max Mac (48 GB) 统一内存约 75% 可供 GPU 使用 | 614 GB/s | – |
| M5 Max Mac (64 GB) 统一内存约 75% 可供 GPU 使用 | 614 GB/s | – |
| M5 Max Mac (128 GB) 统一内存约 75% 可供 GPU 使用 | 614 GB/s | – |
| CPU only, DDR4-3200 dual channel (16 GB) 系统内存减去约 6 GB 留给系统和其他程序 | 51.2 GB/s | – |
| CPU only, DDR4-3200 dual channel (32 GB) 系统内存减去约 6 GB 留给系统和其他程序 | 51.2 GB/s | – |
| CPU only, DDR4-3200 dual channel (64 GB) 系统内存减去约 6 GB 留给系统和其他程序 | 51.2 GB/s | – |
| CPU only, DDR5-5600 dual channel (32 GB) 系统内存减去约 6 GB 留给系统和其他程序 | 89.6 GB/s | – |
| CPU only, DDR5-5600 dual channel (64 GB) 系统内存减去约 6 GB 留给系统和其他程序 | 89.6 GB/s | – |
| CPU only, DDR5-5600 dual channel (128 GB) 系统内存减去约 6 GB 留给系统和其他程序 | 89.6 GB/s | – |
| CPU only, DDR5-6000 dual channel (32 GB) 系统内存减去约 6 GB 留给系统和其他程序 | 96 GB/s | – |
| CPU only, DDR5-6000 dual channel (64 GB) 系统内存减去约 6 GB 留给系统和其他程序 | 96 GB/s | – |
| CPU only, DDR5-6000 dual channel (96 GB) 系统内存减去约 6 GB 留给系统和其他程序 | 96 GB/s | – |
| CPU only, DDR4-3200 quad channel (64 GB) 系统内存减去约 6 GB 留给系统和其他程序 | 102.4 GB/s | – |
| CPU only, DDR4-3200 quad channel (128 GB) 系统内存减去约 6 GB 留给系统和其他程序 | 102.4 GB/s | – |
| CPU only, DDR4-3200 quad channel (256 GB) 系统内存减去约 6 GB 留给系统和其他程序 | 102.4 GB/s | – |
热门模型的生成速度
单个请求、Q4_K_M、4,096 token 上下文下的每秒 token 数;“—”表示单卡装不下。点击模型名可查看它的显存需求(英文)。
| 模型 | RTX 3060 12GB | RTX 4090 | RTX 5090 | M4 Max Mac (128 GB) | H100 SXM |
|---|---|---|---|---|---|
| Qwen3.6 35B-A3B (MoE) | — | 129–234 | 199–382 | 76–134 | 295–612 |
| Qwen3.6 27B | — | 31–43 | 53–76 | 17–24 | 93–137 |
| Qwen3-Coder-Next (80B MoE) | — | — | — | 76–133 | 294–608 |
| Gemma 4 31B | — | 26–36 | 45–63 | 14–20 | 79–115 |
| Gemma 4 26B-A4B (MoE) | — | 92–164 | 148–274 | 53–92 | 232–458 |
| Gemma 4 E4B | 38–53 | 96–142 | 153–239 | 56–79 | 239–405 |
| GLM-4.7 Flash | — | 121–220 | 189–361 | 72–126 | 284–583 |
| Nemotron 3 Nano 30B-A3B (MoE) | — | 116–210 | 182–346 | 69–120 | 275–562 |
| gpt-oss-20b | — | 110–198 | 173–326 | 64–112 | 264–534 |
| gpt-oss-120b | — | — | — | 47–80 | 211–408 |
| Qwen3.5 9B | 32–44 | 81–119 | 132–202 | 47–66 | 211–347 |
| Llama 3.1 8B | 35–49 | 89–131 | 143–222 | 51–73 | 226–378 |
32K token 提示词的首 token 时间
Q4_K_M,单个请求,中间估算值;模型放不下或该卡没有 FP16 数据时显示“—”。
| 模型 | RTX 3090 | RTX 4090 | RTX 5090 | H100 SXM |
|---|---|---|---|---|
| Qwen3.6 35B-A3B (MoE) | 5.3 s | 2.3 s | 1.8 s | 2.4 s |
| Qwen3.6 27B | 24 s | 11 s | 8.3 s | 11 s |
| Qwen3-Coder-Next (80B MoE) | — | — | — | 2.4 s |
| Gemma 4 31B | 27 s | 12 s | 9.1 s | 12 s |
| Gemma 4 26B-A4B (MoE) | 6.8 s | 2.9 s | 2.3 s | 3.0 s |
| Gemma 4 E4B | 8.8 s | 3.8 s | 3.0 s | 3.9 s |
| GLM-4.7 Flash | 11 s | 4.9 s | 3.9 s | 5.1 s |
| Nemotron 3 Nano 30B-A3B (MoE) | 5.8 s | 2.5 s | 2.0 s | 2.6 s |
| gpt-oss-20b | 6.7 s | 2.9 s | 2.3 s | 3.0 s |
| gpt-oss-120b | — | — | — | 4.3 s |
| Qwen3.5 9B | 8.7 s | 3.7 s | 2.9 s | 3.9 s |
| Llama 3.1 8B | 10 s | 4.5 s | 3.5 s | 4.7 s |
提示词时间怎么估算
读取提示词受算力而不是显存带宽限制:每个提示词 token 都要过一遍所有激活权重,每个权重 2 次浮点运算;注意力每层每个查询-键对再加 4 × 宽度次运算,随提示词长度的平方增长(滑动窗口层只到窗口大小,线性注意力和 Mamba 层不增长)。时间 = 运算量 ÷(占比 × 厂商规格表上的稠密 FP16 张量算力),注意力部分按权重矩阵占比的 0.9 倍计算。占比按硬件类别用下方公开 llama-bench 实测拟合:GeForce 和 RTX 为 0.59;A100/H100/H200 为 0.19,llama.cpp 远没有用满它们的峰值;Radeon(ROCm)为 0.4。MoE 模型只计激活参数,并按该占比的 0.51 倍计算(用 gpt-oss 20B 拟合)。如果所有卡用同一个占比,误差会在 -20% 到 +270% 之间;按类别拟合后,下表每一条都在 ±28% 以内。
校准:估算与公开 llama-bench 实测对比
Llama 2 7B Q4_0 来自 llama.cpp 的 CUDA 和 ROCm 排行帖(开启 flash attention,单卡),另有 Llama 3.1 8B 和 gpt-oss 20B 来自 llama.cpp PR #25319 的测试表。ppN 是 llama-bench 把 N 个 token 的提示词读入空缓存的平均速度,所以 N ÷ ppN 就是等待首 token 的时间。
| 显卡 | 模型 | 提示词 | FP16 张量 TFLOPS | 实测 | 估算 | 误差 | 来源 |
|---|---|---|---|---|---|---|---|
| RTX 4090 | Llama 2 7B | pp512 | 330.3 | 14,771 | 14,299 | -3% | llama.cpp #15013 |
| RTX 4090另一张 RTX 4090 的实测 | Llama 2 7B | pp512 | 330.3 | 12,417 | 14,299 | +15% | llama.cpp #15013 |
| RTX 4090 | Llama 2 7B | pp2048 | 330.3 | 11,765 | 13,835 | +18% | llama.cpp #15013 |
| RTX 4090 | Llama 2 7B | pp8192 | 330.3 | 9,918 | 12,244 | +23% | llama.cpp #15013 |
| RTX 4090 | Llama 2 7B | pp16384 | 330.3 | 8,450 | 10,616 | +26% | llama.cpp #15013 |
| RTX 5090 | Llama 2 7B | pp512 | 419.0 | 14,970 | 18,139 | +21% | llama.cpp #15013 |
| RTX 5080 16GB | Llama 2 7B | pp512 | 225.1 | 9,488 | 9,745 | +3% | llama.cpp #15013 |
| RTX 5080 16GB | Llama 2 7B | pp2048 | 225.1 | 8,745 | 9,428 | +8% | llama.cpp #15013 |
| RTX 5080 16GB | Llama 2 7B | pp8192 | 225.1 | 7,597 | 8,344 | +10% | llama.cpp #15013 |
| RTX 5080 16GB | Llama 2 7B | pp16384 | 225.1 | 6,393 | 7,235 | +13% | llama.cpp #15013 |
| RTX 5070 Ti 16GB | Llama 2 7B | pp512 | 175.8 | 8,420 | 7,611 | -10% | llama.cpp #15013 |
| RTX 5070 12GB | Llama 2 7B | pp512 | 123.5 | 5,783 | 5,347 | -8% | llama.cpp #15013 |
| RTX 5060 Ti 16GB | Llama 2 7B | pp512 | 94.9 | 4,196 | 4,107 | -2% | llama.cpp #15013 |
| RTX 4080 Super 16GB | Llama 2 7B | pp512 | 209.0 | 9,439 | 9,048 | -4% | llama.cpp #15013 |
| RTX 4070 Ti Super 16GB | Llama 2 7B | pp512 | 176.5 | 7,612 | 7,641 | +0% | llama.cpp #15013 |
| RTX 4060 Ti 16GB在 8 GB 版上测得,芯片同为 AD106 | Llama 2 7B | pp512 | 88.3 | 3,803 | 3,820 | +0% | llama.cpp #15013 |
| RTX 3090 | Llama 2 7B | pp512 | 142.0 | 5,560 | 6,147 | +11% | llama.cpp #15013 |
| A100 80GB | Llama 2 7B | pp512 | 312.0 | 5,286 | 4,350 | -18% | llama.cpp #15013 |
| A100 80GB | Llama 2 7B | pp2048 | 312.0 | 5,282 | 4,208 | -20% | llama.cpp #15013 |
| A100 80GB | Llama 2 7B | pp8192 | 312.0 | 4,884 | 3,725 | -24% | llama.cpp #15013 |
| A100 80GB | Llama 2 7B | pp16384 | 312.0 | 4,427 | 3,229 | -27% | llama.cpp #15013 |
| H100 SXM | Llama 2 7B | pp512 | 989.5 | 11,263 | 13,795 | +22% | llama.cpp #15013 |
| H100 SXM | Llama 2 7B | pp2048 | 989.5 | 11,331 | 13,347 | +18% | llama.cpp #15013 |
| H100 SXM | Llama 2 7B | pp8192 | 989.5 | 10,341 | 11,812 | +14% | llama.cpp #15013 |
| H100 SXM | Llama 2 7B | pp16384 | 989.5 | 9,211 | 10,242 | +11% | llama.cpp #15013 |
| RX 7900 XTXROCm | Llama 2 7B | pp512 | 123.0 | 3,874 | 3,610 | -7% | llama.cpp #15021 |
| RX 9070 XT 16GBROCm | Llama 2 7B | pp512 | 195.0 | 5,380 | 5,723 | +6% | llama.cpp #15021 |
| RTX 3090 | Llama 3.1 8B | pp2048 | 142.0 | 5,264 | 5,009 | -5% | llama.cpp PR #25319 |
| RTX 4090 | Llama 3.1 8B | pp2048 | 330.3 | 12,945 | 11,651 | -10% | llama.cpp PR #25319 |
| RTX 3090 | gpt-oss-20b | pp2048 | 142.0 | 5,842 | 5,845 | +0% | llama.cpp PR #25319 |
| RTX 4090 | gpt-oss-20b | pp2048 | 330.3 | 13,144 | 13,595 | +3% | llama.cpp PR #25319 |
| RTX 5090 | gpt-oss-20b | pp2048 | 419.0 | 21,072 | 17,246 | -18% | llama.cpp PR #25319 |
使用的 FP16 张量算力
稠密 FP16 张量算力;NVIDIA 同时列出两种时取 FP16 累加。AI TOPS 按同架构显卡在白皮书中的比例换算。未列出的硬件不给提示词估算。
| 显卡 | FP16 张量 TFLOPS | 读取方式 | 来源 |
|---|---|---|---|
| RTX 4060 8GB | 60.5 | AI TOPS (FP8, sparse) ÷ 4, the ratio the Ada whitepaper shows for the RTX 4090, 4080 and 4070 | nvidia.com |
| RTX 4070 12GB | 116.6 | Table 6, Peak FP16 Tensor TFLOPS with FP16 Accumulate | images.nvidia.com |
| RTX 5070 12GB | 123.5 | Table 6, Peak FP16 Tensor TFLOPS with FP16 Accumulate | images.nvidia.com |
| RTX 4060 Ti 16GB | 88.3 | AI TOPS (FP8, sparse) ÷ 4, the ratio the Ada whitepaper shows for the RTX 4090, 4080 and 4070 | nvidia.com |
| RTX 5060 Ti 16GB | 94.9 | AI TOPS (FP4, sparse) ÷ 8, the ratio the RTX Blackwell whitepaper shows for the RTX 5090 to 5070 | nvidia.com |
| RX 9070 XT 16GB | 195.0 | Peak Half Precision (FP16 Matrix) Performance | amd.com |
| RTX 4070 Ti Super 16GB | 176.5 | AI TOPS (FP8, sparse) ÷ 4, the ratio the Ada whitepaper shows for the RTX 4090, 4080 and 4070 | nvidia.com |
| RTX 4080 Super 16GB | 209.0 | AI TOPS (FP8, sparse) ÷ 4, the ratio the Ada whitepaper shows for the RTX 4090, 4080 and 4070 | nvidia.com |
| RTX 5070 Ti 16GB | 175.8 | Table 5, Peak FP16 Tensor TFLOPS with FP16 Accumulate | images.nvidia.com |
| RTX 5080 16GB | 225.1 | Table 4, Peak FP16 Tensor TFLOPS with FP16 Accumulate | images.nvidia.com |
| RTX 3090 | 142.0 | RTX 3090 FE, Peak FP16 Tensor TFLOPS with FP16 Accumulate | nvidia.com |
| RTX 4090 | 330.3 | Peak FP16 Tensor TFLOPS with FP16 Accumulate | images.nvidia.com |
| RX 7900 XTX | 123.0 | Peak Half Precision (FP16 Matrix) Performance | amd.com |
| RTX 5090 | 419.0 | Table 3, Peak FP16 Tensor TFLOPS with FP16 Accumulate | images.nvidia.com |
| A100 80GB | 312.0 | FP16 Tensor Core, dense | nvidia.com |
| H100 SXM | 989.5 | FP16 Tensor Core 1,979 with sparsity ÷ 2 | nvidia.com |
| H200 | 989.5 | FP16 Tensor Core 1,979 with sparsity ÷ 2 | nvidia.com |
Mac 上的提示词实测速度
Apple 没有公布 FP16 张量算力,所以这里是实测值而不是估算:Llama 2 7B Q4_0,pp512,来自 llama.cpp 的 Apple Silicon 讨论帖(每款芯片取 GPU 核数最多的配置)。激活参数为 P B 的模型,大约除以 P ÷ 6.7;提示词更长时还会更慢。GPU 核数相同时,M5 代读取提示词比 M4 快 3.3–3.7 倍。
| 芯片 | GPU 核数 | pp512,token/秒 | 8K 提示词,7B 模型(至少) |
|---|---|---|---|
| M1 | 8 | 117.96 | 69 s |
| M1 Pro | 16 | 266.25 | 31 s |
| M1 Max | 32 | 530.06 | 15 s |
| M1 Ultra | 64 | 1,030.04 | 8.0 s |
| M2 | 10 | 179.57 | 46 s |
| M2 Pro | 19 | 341.19 | 24 s |
| M2 Max | 38 | 671.31 | 12 s |
| M2 Ultra | 76 | 1,238.48 | 6.6 s |
| M3 | 10 | 186.75 | 44 s |
| M3 Pro | 18 | 341.67 | 24 s |
| M3 Max | 40 | 759.7 | 11 s |
| M3 Ultra | 80 | 1,471.24 | 5.6 s |
| M4 | 10 | 221.29 | 37 s |
| M4 Pro | 20 | 439.78 | 19 s |
| M4 Max | 40 | 885.68 | 9.2 s |
| M5 | 10 | 722.79 | 11 s |
| M5 Pro | 20 | 1,620.64 | 5.1 s |
| M5 Max | 40 | 3,219.99 | 2.5 s |
本地运行还是租用 GPU?
按需租用 RTX 4090 的中位价为每小时 $0.53,H100 为 $3.39(getdeploying.com 统计的各家服务商中位数,核对于 ;H100 的价格涵盖所有 H100 型号)。下表列出每 1,000 美元购卡预算可租用的小时数(未计电费和二手残值),以及 Qwen3.6 35B-A3B 以 Q4_K_M、4,096 token 上下文、单个请求时每百万生成 token 的租用成本。本站不列显卡售价:2026 年各渠道的零售价差别很大,请在决定前比较当前价格。同一张租用的卡并发处理多个请求时,每个 token 的成本会更低。
| GPU | 显存 | 每小时租金(中位数) | 每 1,000 美元可租小时数 | token/秒 | 每百万 token 成本 |
|---|---|---|---|---|---|
| RTX 3090 | 24 GB | $0.27 | 3,704 | 121–219 | $0.34–0.62 |
| RTX 4090 | 24 GB | $0.53 | 1,887 | 129–234 | $0.63–1.1 |
| RTX 5090 | 32 GB | $0.69 | 1,449 | 199–382 | $0.50–0.96 |
| L40S | 48 GB | $1.57 | 637 | 113–204 | $2.1–3.8 |
| RTX PRO 6000 Blackwell | 96 GB | $2.19 | 457 | 199–382 | $1.6–3.1 |
| A100 80GB | 80 GB | $1.76 | 568 | 217–423 | $1.2–2.3 |
| H100 SXM | 80 GB | $3.39 | 295 | 295–612 | $1.5–3.2 |
| H200 | 141 GB | $4.46 | 224 | 355–774 | $1.6–3.5 |
| B200 | 180 GB | $6.64 | 151 | 436–1,026 | $1.8–4.2 |
使用方法
- 选择模型,或输入 Hugging Face 模型 id(如 Qwen/Qwen3.6-35B-A3B)后点击“加载”。
- 选择你的 GPU 或 Mac,以及打算使用的权重精度。
- 设置上下文长度:对话越长,每个 token 要读取的缓存就越多。
- 查看速度区间和其他硬件的对比表。展开“高级”可以修改激活参数量,或改用多卡运行。
常见问题
大模型在我的 GPU 上每秒能生成多少 token?
按本计算器估算,Llama 3.1 8B 以 Q4_K_M 在 RTX 4090 上约为每秒 96–143 个 token。每生成一个 token,都要从显存中把激活权重和整个 KV cache 读一遍,所以速度上限等于显存带宽除以这些字节数:这里每个 token 约读取 49 亿字节,带宽 1,008 GB/s 的 RTX 4090 上限约为每秒 205 个 token。
实际的推理引擎能跑到多快?
单个请求时,llama.cpp 和 vLLM 跑稠密模型通常能达到上限的 55–75%,MoE 模型因为专家路由开销更大,一般为 30–50%;此外每个 token 还有约 0.5–1.5 ms 的 GPU kernel 启动开销,这会限制小模型在高端 GPU 上的速度。Llama 3.1 8B 的 Q4_K_M 在 RTX 4090 上约为每秒 130 个 token。
为什么 MoE 模型比它的体量看起来更快?
每个 token 只读取被路由到的专家。Qwen3-30B-A3B 的 305 亿参数中,每个 token 只读约 33 亿,所以虽然占用显存更多,生成速度却比 8B 稠密模型还快。
为什么对话越长越慢?
每生成一个新 token 都要读一遍完整的 KV cache。在 128K token 时,Llama 3.1 8B 的 FP16 缓存有 16 GB,是其 Q4_K_M 权重的三倍多,所以生成速度比对话刚开始时慢约 4.5 倍。
两张 GPU 会快一倍吗?
不完全是。使用张量并行(如 vLLM、SGLang)时,每张卡只读每层的一半,带宽上限翻倍,但每层算完后卡之间都要交换结果,计算器按每个 token 约 1–2 ms 计入。llama.cpp 默认按整层把模型分到多张卡上,能装下更大的模型,但速度大致和单卡相同。
读取提示词也遵循同样的规律吗?
不是。处理提示词(prefill)受算力而不是带宽限制,所以计算器按显卡的 FP16 张量算力和公开 llama-bench 实测单独估算:Llama 3.1 8B(Q4_K_M)读取 32K token 的提示词,RTX 4090 约需 4–5 秒,RTX 3090 约需 9–13 秒,之后才输出第一个 token。Apple 没有公布 FP16 算力,所以 Mac 列的是实测速度:40 核 GPU 的 M4 Max 读取 Llama 2 7B 的提示词约每秒 890 个 token。
Mac 和其他统一内存设备呢?
规律相同,只是换成它们的内存带宽:M4 Max 为 546 GB/s,M3 Ultra 为 819 GB/s,Ryzen AI Max+ 395 为 256 GB/s。它们能装下比大多数 GPU 更大的模型,但生成得更慢。
我输入的内容会被上传吗?
计算在你的浏览器中进行。唯一的网络请求是加载模型时访问 Hugging Face。
更多计算器
- 投机解码显存计算器
(MTP 与草稿模型) llama.cpp 中 MTP 头、DFlash 草稿模型和小草稿模型额外占用的显存,适用于 Qwen3.8 27B 和 Gemma 4 31B。 打开 → - Qwen3.8 27B 新 GGUF 量化:Bonsai 2、GSQ-RCO 与 UD 对比 Qwen3.8 27B 的 Ternary Bonsai 2、GSQ-RCO 与 Unsloth UD 文件:显存、质量、速度,以及各自需要的推理引擎。 打开 →
- Bonsai 2 27B 显存需求 Ternary Bonsai 2 27B 各文件的真实大小、8–24 GB 显卡能开的最长上下文,以及 5.95 GB 与 8.60 GB 两种说法的来源。 打开 →
- 微调显存计算器 Transformers 或 Unsloth 中全参数微调、LoRA、QLoRA 需要的显存,并与公开实测对比。 打开 →
- 图像与视频模型显存计算器 FLUX.2、Wan 2.2、LTX-2 和 Qwen-Image 在 ComfyUI 中的峰值显存与系统内存,按精确文件大小计算,并与公开实测核对。 打开 →
- 可本地运行的 Jev 替代品 只有 API 的 Jev 在本地的开源替代:Laya、零样本分类编码器和小型 LLM,附文件大小与显存。 打开 →
更新于