关于 ModelVRAM
ModelVRAM 只回答一个问题:这个模型我的显卡跑不跑得动,要几张卡?计算器直接读取模型自己的文件,每一步算式都摆出来,在浏览器里运行,不用安装,也不用注册。
谁在维护
ModelVRAM 由 林凯(Kai Lin)开发和维护。他是做 AI 基础设施的开发者,方向是大模型推理部署、向量检索引擎和 NPU 算子,也参与这些方向的开源项目。做这个站,是因为每次有新的开源模型发布,他都想当天就知道答案,而且答案要从模型公开的文件算出来,不是凭参数量拍脑袋。
数字怎么算
- 模型结构来自 Hugging Face 上的模型文件:config.json、safetensors 权重元数据,或 GGUF 文件头。69 个预设模型都标了最后核对日期。
- 权重显存 = 参数量 × 每参数位数 ÷ 8。KV 缓存按模型自己的注意力结构计算(分组查询、多头潜在注意力、滑动窗口和线性注意力层),总量再加 0.5 GB 和 10% 的开销。GB 指 GiB(1024³ 字节)。
- 速度按显存带宽上限估算,并用公开的 llama-bench 结果校准;微调按微调计算器列出的权重、梯度、优化器状态和激活来算。
- 源码和测试公开,数据也整理成了开放数据集。
怎么核对
估算要经得起实测。准确性页面把估算和 20 条公开的显存实测(中位误差 0.8%)、32 次 llama-bench 测速(中位误差 10%)逐条对比。量化模型发布后,会用它的实际文件大小核对权重算式。你自己测过某个模型?提交实测数据,它会加入对比。
编辑原则
- 独立:模型厂商和显卡商家都不能花钱买收录、改数字或调排序。
- 只有一个推荐链接:「租显卡」卡片里的 Vast.ai 链接带推荐码,出现的地方都有说明并标为赞助链接,它不影响列出哪些显卡和服务商,也不影响顺序。
- 是估算,不是承诺:每个结果都写明算了什么、没算什么。
- 公开更正:错误一经确认就修,每次改动都记在更新日志里。
联系
发现数字不对、页面出错,或者想要一个还没有的工具?请到 github.com/