Laya 显存需求：三个模型、全部文件与运行方式

16 GB、24 GB 显卡或纯 CPU 能跑 Laya 吗？

都能。已发布的最大文件是 850 MB，按默认输入长度，每个文件的峰值都在 0.76 GB–1.40 GB，所以 16 GB 或 24 GB 显卡只用到不到十分之一，4 GB 显卡也够。没有 GPU 时模型从系统内存运行，空闲 3 GB 就足够，连需要加载两份模型的 llama.cpp 方式也够用。硬件决定的是速度而不是能否运行：GPU 上每次请求几十毫秒，CPU 上几百毫秒（见下方实测）。

全部 Laya 文件：大小与内存

每个模型按默认输入长度计算（English 为 512 token，typed-decisions 和 multilingual 为 1,024），每次前向 1 行。大小是 Hugging Face 列出的已发布文件，单位 MB；内存单位为 GB（GiB）。

更长的输入和更大的批量

内存随“行数 × token 数”增长，注意力分数随长度的平方增长。即使是这里最重的情况，laya-multilingual 读取一篇 8,192 token 的文档，也不到 5 GB。

在本地运行 Laya 的三种方式

1. PyTorch：laya Python 包

官方参考方式，也是唯一能运行全部三个模型并把每个请求自动路由到合适模型的方式。首次使用时下载 safetensors 文件，可在 CUDA、Apple GPU 或 CPU 上运行。PyPI、GitHub。

pip install laya

from laya import Router

router = Router()  # Router(preload=True) loads all three checkpoints up front
result = router.predict(
    "We were billed twice for March. Please refund the duplicate.",
    {"churn_risk": {"type": "noul", "instructions": "Does the user threaten to leave?"}},
)
print(result["answers"]["churn_risk"]["noul"])  # probability of yes

2. ggmlc：独立的 laya 程序

从 ggmlc 发布页下载一个程序即可运行 mys/laya-*-GGUF 文件，无需 Python：有 CUDA 或 Metal 时使用 GPU，否则用 CPU。它提供命令行、带网页的 HTTP 服务和 JSON-RPC 守护进程。这些 GGUF 是 ggmlc 自己的格式，llama.cpp 无法加载。

huggingface-cli download mys/laya-GGUF laya_english_f16.gguf --local-dir .

laya decide laya_english_f16.gguf --preset email --device auto

3. llama.cpp：编码器用 llama-server，决策头用 Python

fr0stbit3/laya-*-gguf 文件只包含 ModernBERT 编码器，由 llama-server 以逐 token 向量的形式提供。决策头在同目录的 -head.safetensors 文件中，需要用 laya 包在 Python 里运行，而 laya 包仍会下载一次原始权重。模型卡说明这些文件只做过少量测试，建议用 F16 或 Q8_0。

llama-server -m laya-F16.gguf --embeddings --pooling none -c 2048 -ub 2048 -b 2048 --port 8080

Ollama

Ollama 官方库里没有 Laya。社区上传的 s1gnature/laya 是一个嵌入模型：ollama embed 返回的是编码器向量，而不是 Laya 的答案，因为其中不包含决策头。ollama run 也无法和它对话：Laya 不生成文本。

Laya 不是 LLaVA

名字相近，模型完全不同。LLaVA 是视觉语言对话模型（7B–34B 的 LLM 加图像编码器），会针对图片生成文字，Ollama 默认下载就有 4.7–20 GB。Laya 是 0.3–0.4B 的文本编码器加决策头：输入一段文本或 JSON“状态”和类型化问题（选择、打分、是/否），一次前向就返回校准过的概率。它从不生成 token，不读图片，也没有 KV 缓存，所以本站的 LLM 计算器都不适用于它。

已发布的速度实测

文件大小于 2026-09-29 从 Hugging Face API 读取；层数来自各模型的 encoder/config.json。权重大小是精确值；激活内存根据结构估算（每次只保留一层编码器的张量，PyTorch 为 BF16，ggml 为 F32），另加固定 0.5 GB 运行时开销。 仓库： convaiinnovations/laya、mys/laya-GGUF、fr0stbit3/laya-gguf、convaiinnovations/laya-typed-decisions、mys/laya-typed-decisions-GGUF、fr0stbit3/laya-typed-decisions-gguf、convaiinnovations/laya-multilingual、mys/laya-multilingual-GGUF、fr0stbit3/laya-multilingual-gguf

对话类 LLM 请用 LLM 显存计算器。