LLM 显存计算器

8,192 token 上下文约需 18.3 GB，32,768 token 约需 19.9 GB（单个请求、FP16 KV 缓存）；仅权重就占 15.7 GB。所以它能以 32K 上下文放进一张 24 GB 显卡，比如 RTX 3090 或 4090。

权重 = 参数量 × 每个权重的位数 ÷ 8。KV cache = 2 × 层数 × KV 头数 × 头维度 × 每个值的字节数 × token 数 × 请求数。运行开销 = CUDA 上下文 0.5 GB，再加上权重与缓存之和的 10%，用于激活值和显存碎片；这个 10% 可以在“高级”里修改。

KV cache 随每个请求的每个 token 增长。Llama 3.1 8B 每个 token 需要 128 KB 的 FP16 缓存，所以一段 128K token 的对话要在权重之外再占 16 GB。改用 FP8 缓存可以减半。

每个 token 只有少数几个专家参与计算，但所有专家都必须加载，所以权重显存取决于总参数量：Qwen3-30B-A3B 是 305 亿，而不是 30 亿。

Q4_K_M 是最常用的默认选择，体积约为 BF16 的三分之一；Q5_K_M 和 Q6_K 保留更多质量，适合写代码和小模型；Q3_K_M 和 Q2_K 能让模型塞进更小的显存，但质量损失明显。本站的 GGUF 量化指南列出了每种类型的每权重位数和热门模型的体积。

不会。权重精度和 KV cache 精度是两个独立的设置，Q4 权重配 FP16 缓存时，缓存仍是完整大小。

所有数据都来自模型的 config.json。多头潜在注意力（MLA，用于 DeepSeek V3、GLM-5.3、Kimi K3）每层每个 token 只缓存 576 个值，而不是完整的 K 和 V；DeepSeek V3.2 和 GLM-5 还会为稀疏注意力索引器给每个 token 额外存一个 128 维的 FP8 key。滑动窗口层只保留窗口内的内容：gpt-oss 有一半层的窗口是 128 个 token；Gemma 4 31B 的 60 层中有 50 层窗口为 1,024 个 token，其余 10 层缓存 4 个 512 维的头，同时充当 K 和 V。线性注意力层保存固定大小的状态，不会随上下文增长：Qwen3.8 27B 的 64 层中有 48 层，Kimi K3 的 93 层中有 69 层。DeepSeek V4 还会跨层共享并压缩缓存，计算器没有建模这一点，所以它的 KV 数字是上限。

它直接使用模型在 Hugging Face 上的权重文件大小，所以即使是混合格式的检查点，比如 gpt-oss 的 MXFP4 专家，或 DeepSeek V4、MiMo V2.6 的 4-bit 专家，结果也和下载大小一致。

这是估算值。推理引擎会分配自己的缓冲区：vLLM 启动时会预留固定比例的显存，llama.cpp 启动时就按完整上下文分配缓存。请留出余量，尤其是这块 GPU 还要驱动显示器的时候。

计算在你的浏览器中进行。唯一的网络请求是加载模型时访问 Hugging Face。