Ternary Bonsai 2 27B 显存需求：8、12、16 GB 显卡

哪些显卡能跑 Bonsai 2 27B，能开多长上下文

每格是该显卡在至少剩余 0.5 GB 的前提下能放下的最长上下文及对应显存：整个文件放在 GPU 上（-ngl 99），加上 16 个注意力层的 KV 缓存（其余 48 层只保留固定大小的状态），再加 1 GB 计算缓冲区。仅文本，不开 MTP。

加载视觉投影器（0.59 GB 的 Q8_0 文件，用于图片输入）后，同样的显卡可以放下：8 GB，PTQ1_0 16K（7.41 GB）；12 GB，PTQ1_0 或 PQ2_0 128K（9.37 GB 和 10.5 GB）；16 GB，两者都到 256K（11.6 GB 和 12.8 GB），均为 q4_0 KV 缓存。

介于“放得下”和“放不下”之间：PTQ1_0 在 64K、q4_0 下需要 7.66 GB，只有这张 8 GB 显卡没有其他占用（不接显示器）时才能加载。24 GB 显卡可以让所有文件跑满 256K，PTQ1_0 甚至可以用 f16 缓存（22.5 GB）。

Bonsai 2 27B 全部文件的真实字节数

字节数取自 Hugging Face API。“十进制 GB”除以 1,000,000,000；本站的 GB（与 nvidia-smi 相同）除以 1024³，所以同一个文件在别处写 5.95 GB，这里写 5.54 GB。

为什么会看到 5.95 GB、7.2 GB 和 8.60 GB

5.95 GB 是 PTQ1_0 GGUF 文件（5,946,648,928 字节）按十进制 GB 计算的大小，模型卡自己的表格就是这样写的（PQ2_0 写作 7.21 GB）。换成显存通用的 GiB 是 5.54 GB。“不到 6 GB”和“5.54 GB”说的是同一个文件。

7.2 GB 是 PQ2_0 GGUF（7,206,168,928 字节，6.71 GB），即 2.13 位的文件；社区最早的几个接回 MTP 层的版本都基于它。

8.60 GB 是另一个下载：给 Apple Silicon 用的 MLX 2-bit 包，只有一个 8,595,477,990 字节的 model.safetensors（8.01 GB）。它的 README 把它拆成 7.67 GB 语言模型和 0.92 GB 视觉塔，并解释了为什么更大：MLX 每 128 个权重存一个 scale 和一个 bias，同样的三值权重每个要 2.25 位，而 GGUF 的 PTQ1_0 只要 1.75 位。写“Bonsai 2 27B 有 8.60 GB”的文章说的是 Mac 版，不是装 NVIDIA 显卡的电脑要下载的文件。

怎么运行

PTQ1_0 和 PQ2_0 是新的 GGML 张量类型，只有 PrismML 的 llama.cpp 分支实现了（版本 prism-b10743，2026-09-25）。把它们加入主线的 PR #29077 已于 2026-09-22 未合并关闭，所以 Ollama、LM Studio 和官方 llama.cpp 都无法加载这些文件。用这个分支时，命令和平常的 llama-server 一样：

huggingface-cli download prism-ml/Ternary-Bonsai-2-27B-gguf Ternary-Bonsai-2-27B-PTQ1_0.gguf --local-dir .

8 GB 显卡，32K 上下文：

llama-server -m Ternary-Bonsai-2-27B-PTQ1_0.gguf -ngl 99 -c 32768 -fa on -ctk q4_0 -ctv q4_0

12 GB 显卡，跑满 256K 上下文：

llama-server -m Ternary-Bonsai-2-27B-PTQ1_0.gguf -ngl 99 -c 262144 -fa on -ctk q4_0 -ctv q4_0

16 GB 显卡，PQ2_0 跑 256K：

llama-server -m Ternary-Bonsai-2-27B-PQ2_0.gguf -ngl 99 -c 262144 -fa on -ctk q4_0 -ctv q4_0

社区接回 MTP 层的文件（sudoingX/Ternary-Bonsai-2-27B-PTQ1_0-MTP-GGUF，6.53 GB）多 0.99 GB，可以让分支运行 --spec-type draft-mtp。作者在 RTX 3060 12GB、128K 上下文下测得不开时每秒 25.0 个 token，开 1 个草稿 token 时 27.1 个。

在 Mac 上，分支版 llama.cpp 通过 Metal 运行同样的 GGUF 文件。MLX 包的权重为 8.01 GB；按本站方法、f16 缓存计算，32K 约 11.0 GB，128K 约 17.0 GB。它的 PACK-RUNTIME.md 说明普通 MLX 加载器不会做所需的 Hadamard 变换，要用仓库自带的运行时，并且不包含视觉和 MTP 部分，尽管 README 把视觉塔算进了 8.60 GB。Mac 的内存有多少能给 GPU 用，见我的电脑能跑什么。

实测数据

单位保持各来源的原样。“已填充”表示提示词确实用到了这么多 token。

短提示时估算很接近，长提示时偏低：在已填充 131K 上下文时，RTX 4070 实测用了 9,918 MiB，这里估算为 8.79 GB，所以跑很长的提示词时请多留约 1 GB 余量。

文件大小于 2026-09-29 从 Hugging Face API 读取：prism-ml/Ternary-Bonsai-2-27B-gguf（3,581,027 次下载，2,263 个赞，Apache 2.0）、prism-ml/Ternary-Bonsai-2-27B-mlx-2bit 和 sudoingX/Ternary-Bonsai-2-27B-PTQ1_0-MTP-GGUF。结构参数取自 Qwen3.8 27B。要把 Bonsai 2 与同一模型的 GSQ-RCO、Unsloth UD 量化对比，或试任意上下文、KV 类型和投影器设置，请打开 Qwen3.8 27B 量化计算器。