微调显存计算器

梯度检查点

常见设置的显存

2,048 token、微批 1、开启梯度检查点、LoRA 秩 16 作用于全部线性层、AdamW；全参数微调按混合精度计算。点击数字可在计算器中打开对应设置。

与公开实测数据的对比

15 条附带设置的公开实测，与本计算器对同一设置的估算并列。误差中位数为 1.6%，最大为 7.5%。激活系数和运行时开销是用 Unsloth 博客中的数据（两个框架）拟合的，所以这些行的吻合部分来自拟合本身；PEFT 和 Giles Thomas 的三行没有参与拟合。

最长序列那几行的“公开数据”是显卡容量，其余是 PyTorch 统计的峰值；估算按同一口径比较（和 PyTorch 峰值比较时不含 0.5 GB 的 CUDA 上下文）。

还没有验证的部分

我们没有找到附带完整设置的公开实测来验证以下情况：16 位基座的 LoRA 开梯度检查点、Unsloth 不开梯度检查点、MoE 模型、微批大于 4。这些估算由已验证的部分组合而成，但本身没有验证。Unsloth 的最长序列表与显卡容量严格成线性，说明其中一部分是 Unsloth 外推的。混合精度全参数微调只有一条验证，估算偏低 8%，原因是 DeepSpeed 额外保存了一份 FP16 权重。

与经验表对照

Unsloth 的硬件要求页面按模型大小给出“最低”显存，但没有写序列长度、秩和 batch。这是经验值而不是实测，所以没有计入上面的误差。估算一列按 Unsloth、512 token、秩 16、batch 1 计算。

Unsloth 自己的测试给出的 8B 数字比这张表高：秩 32 时 8 GB 显卡只能放下 2,972 token，而且这组数字呈直线增长，推算到极短的样本也要约 7.4 GB。LLaMA-Factory 的表（标注为“估算”）给 7B 模型的数字是：32 位全参数 120 GB、纯 16 位全参数 60 GB、LoRA 16 GB、4 位 QLoRA 6 GB；对于 Llama 3.1 8B、2,048 token、Transformers，本计算器给出 125 GB、65.2 GB、21.3 GB 和 14.8 GB。

计算方法

• 权重。LoRA：每个参数 2 字节。QLoRA：除输出层外的所有线性层用 bitsandbytes NF4 存储，每个权重 4 位，每 64 个权重一个 8 位缩放值，开启双重量化后每 256 个块再加一个 FP32 缩放值（共 4.127 位；不开双重量化为 4.5 位）；嵌入层、输出层和归一化层在 Unsloth 中保持 BF16，在 Transformers 中会被 prepare_model_for_kbit_training 转成 FP32。
• LoRA 参数。每层每个被适配的矩阵有 r × (d_in + d_out) 个参数，由配置中的隐藏维度、注意力头数和前馈宽度算出（MoE 层计入所有专家）。Llama 3.1 8B、r = 16、全部线性层：41,943,040 个。适配器及其梯度为 FP32（4 + 4 字节）；AdamW 另加 8 字节，8-bit AdamW 加 2 字节。
• 全参数微调。混合精度：使用 AdamW 时每个参数 16 字节（BF16 权重 2、FP32 主权重 4、梯度 2、m 和 v 共 8，与 ZeRO 论文的计法相同），8-bit AdamW 为 10 字节。纯 BF16：8 字节（PyTorch 的 AdamW 以权重的数据类型保存 m 和 v），8-bit AdamW 为 6 字节。
• 激活。使用 flash attention 时，每层每个 token 以 BF16 保存约 10h + 2q + 4kv + 8f 字节（h 为隐藏维度；q、kv 为 query 与 key/value 的宽度；f 为前馈宽度，MoE 取一个 token 经过的专家），另加每个被适配层输入的一份 BF16 副本。不开检查点时每一层都保存这些。Transformers 的梯度检查点保存每层的输入（2h 字节），另加重算时一层用量的 2.6 倍；Unsloth 的卸载式检查点在显卡上只保留一层用量的 0.92 倍，各层输入放在系统内存。
• logits。Transformers 用 FP32 logits 计算损失：每个 token 每个词表项约 14 字节，Llama 3 的 128,256 个词表项即每个 token 1.8 MB。Unsloth 的融合交叉熵（Apple 的 Cut Cross Entropy）不会生成完整的 logits。
• 运行时。CUDA 上下文、cuBLAS 工作区和分配器：Transformers 0.6 GB，Unsloth 1.2 GB。QLoRA 另加最大矩阵的一份反量化副本，Transformers 的 QLoRA 还会生成 FP32 输出层的一份 BF16 副本。
• 未建模。多卡（FSDP、DeepSpeed ZeRO）、把权重或优化器卸载到 CPU、训练中的评估与生成，以及 DPO、GRPO（参考模型、rollout）。

来源：bitsandbytes 与 QLoRA 论文（NF4、双重量化）、PEFT 的 prepare_model_for_kbit_training、ZeRO 论文（每参数 16 字节）、Korthikanti 等（激活显存）、Unsloth 关于卸载式检查点与 Cut Cross Entropy 的说明。

资料读取日期：2026-09-29。

训练后要运行模型，请看 LLM 显存计算器。本站推理估算与实测的差距见估算准确度。