可本地运行的 Jev 替代品：Laya、零样本编码器与小型 LLM

有多快：每次决策多少毫秒、每秒多少次

这类编码器很少受显存限制，真正要看的是速度。选模型、GPU、每行读多少 token、一次决策要几行，就能看到每次决策的耗时，以及这张卡每秒能处理多少次决策。

Laya：对同一段文本每问一个问题算一行。

Laya (English)，每行 256 token，每次决策一行

不做估算：CPU、Apple Silicon、AMD 和 Intel 显卡，以及 NVIDIA 没有公布 BF16 张量算力的型号（RTX 3060、4060、4060 Ti、5060 Ti、4070 Ti Super、4080 Super、RTX PRO 6000、B200、DGX Spark）。

估算方法

• 实测基准。ModernBERT 论文（表 2）在一张 RTX 4090 上实测了每秒处理的 token 数：ModernBERT-large 在 512 token 时 52,300、8,192 token 时 46,800；ModernBERT-base 为 148,100 和 123,700；DeBERTa-v3-large 在 512 token 时 24,600，输入长短不一、需要补齐时只有一半。Laya English 和 typed-decisions 是 ModernBERT-large；Laya multilingual 是 mmBERT-base，结构和非嵌入参数量与 ModernBERT-base 相同（mmBERT 论文第 3.1 节）。
• 换算到其他 GPU。编码器的耗时一部分是矩阵运算，随张量算力变化；一部分是显存读写，随带宽变化。所以相对 RTX 4090 的速度落在两个比值之间，范围的两端分别按这两个比值算。张量算力用 NVIDIA 公布的 BF16 稠密值（RTX Blackwell 架构白皮书附录，L40S、A100、H100、H200 页面，稀疏值除以 2）；带宽与LLM 速度计算器用的相同。
• 每次决策。下限是 GPU 满负荷处理你这一个请求，且不低于把权重读一遍的时间。上限再加上每次调用 40 ms 的固定开销：laya 包公布的单问题耗时在 Tesla T4 上是 39.5 ms 和 32.8 ms，ggmlc 在 RTX 4050 笔记本上是 25 ms（模型卡）；对短问题来说，这些时间大多花在分词、Python 和内核启动上，而不是计算。编译过模型、合批处理的服务接近下限；每个请求单独调用一次 laya 包接近上限。
• 合批处理。请求足够多、每次前向都能把 GPU 占满时，每秒能完成的决策数：每秒 token 数除以一次决策的 token 数。在 RTX 4090 上就是论文的实测值，所以两端相同；在其他卡上，实际服务应落在这个范围内；如果把请求补齐到同一长度，会更低（ModernBERT 会去掉补齐，不受影响）。
• 没有建模的情况：ggml 和 llama.cpp 运行时（F32 激活、不同的内核）、TensorRT 等 INT8/FP8 引擎、笔记本 GPU 和功耗限制。核对日期：2026-09-29。