关于 ModelVRAM

ModelVRAM 只回答一个问题:这个模型我的显卡跑不跑得动,要几张卡?计算器直接读取模型自己的文件,每一步算式都摆出来,在浏览器里运行,不用安装,也不用注册。

谁在维护

ModelVRAM 由 林凯(Kai Lin)开发和维护。他是做 AI 基础设施的开发者,方向是大模型推理部署、向量检索引擎和 NPU 算子,也参与这些方向的开源项目。做这个站,是因为每次有新的开源模型发布,他都想当天就知道答案,而且答案要从模型公开的文件算出来,不是凭参数量拍脑袋。

数字怎么算

怎么核对

估算要经得起实测。准确性页面把估算和 20 条公开的显存实测(中位误差 0.8%)、32 次 llama-bench 测速(中位误差 10%)逐条对比。量化模型发布后,会用它的实际文件大小核对权重算式。你自己测过某个模型?提交实测数据,它会加入对比。

编辑原则

联系

发现数字不对、页面出错,或者想要一个还没有的工具?请到 github.com/159753a52/llm-vram-calculator/issues 留言。