LLM 速度计算器

按本计算器估算，Llama 3.1 8B 以 Q4_K_M 在 RTX 4090 上约为每秒 96–143 个 token。每生成一个 token，都要从显存中把激活权重和整个 KV cache 读一遍，所以速度上限等于显存带宽除以这些字节数：这里每个 token 约读取 49 亿字节，带宽 1,008 GB/s 的 RTX 4090 上限约为每秒 205 个 token。

单个请求时，llama.cpp 和 vLLM 跑稠密模型通常能达到上限的 55–75%，MoE 模型因为专家路由开销更大，一般为 30–50%；此外每个 token 还有约 0.5–1.5 ms 的 GPU kernel 启动开销，这会限制小模型在高端 GPU 上的速度。Llama 3.1 8B 的 Q4_K_M 在 RTX 4090 上约为每秒 130 个 token。

每个 token 只读取被路由到的专家。Qwen3-30B-A3B 的 305 亿参数中，每个 token 只读约 33 亿，所以虽然占用显存更多，生成速度却比 8B 稠密模型还快。

每生成一个新 token 都要读一遍完整的 KV cache。在 128K token 时，Llama 3.1 8B 的 FP16 缓存有 16 GB，是其 Q4_K_M 权重的三倍多，所以生成速度比对话刚开始时慢约 4.5 倍。

不完全是。使用张量并行（如 vLLM、SGLang）时，每张卡只读每层的一半，带宽上限翻倍，但每层算完后卡之间都要交换结果，计算器按每个 token 约 1–2 ms 计入。llama.cpp 默认按整层把模型分到多张卡上，能装下更大的模型，但速度大致和单卡相同。

不是。处理提示词（prefill）受算力而不是带宽限制，在现代 GPU 上每秒可达数百到数千个 token。本计算器算的是生成速度，也就是聊天时你能感受到的速度。

规律相同，只是换成它们的内存带宽：M4 Max 为 546 GB/s，M3 Ultra 为 819 GB/s，Ryzen AI Max+ 395 为 256 GB/s。它们能装下比大多数 GPU 更大的模型，但生成得更慢。

计算在你的浏览器中进行。唯一的网络请求是加载模型时访问 Hugging Face。