Jev、Kev、Laya:谁能承担本地决策?
在同一组晨报去重样本上核对三方的答案、概率和高风险错误,再把资源、批量语义和运行代价分开审视。报告只比较本机实际留存的回执,不把项目宣传或不同日期的速度包装成同场竞速。
一屏结论
Jev 和 Kev-4B 在简单构造题均为 15/15;在严格区分文章的七对真实去重上均为 6/7。Laya multilingual 中文为 5/7,却占用更少本机内存。三者都能返回类型化概率,不能据此证明决策等价。
高风险自动合并安全性:Jev 与 Kev 都把 #2 判重复,Laya 把不同文章 #1 判重复。7 对不足以做统计排名;无同环境新版 Laya 与 Kev/Jev 端到端三方重跑。真实生产是否适用仍需独立人工标注与影子验证。
数据与口径
七对样本来自晨报真实候选,三个项目使用逐字相同的 state、中文问题与顺序(构建器从原始记录断言确认)。固定真值:#0、#5 重复,其余不重复,阈值 p≥0.5 判重复。Kev 的重复行只测稳定性,不扩充分母;Laya 采用 0.3.21 在当前 revision 权重上的实测回包,Jev 采用与 Kev-4B 配对的 9/29 直连回包。[E1–E3]
#2 口径敏感:MIT Tech Review 通讯汇编与内嵌单篇新闻。按“不同文章要保留”判不重复;按“内容重叠应合并”可判重复。下表同时给出两套准确数,不用它作单一胜负题。无论选哪套,#1 是不同文章,Laya 的高概率误合并仍成立。
概率误差使用严格标签的 Brier 均值;“≥0.85 判定覆盖”是 max(p, 1−p) 的双向置信度,仅为离线审计,不等同生产删除门槛。另列“错误地自动判重复”的样本 ID。切换 #2 标签后 Brier 必然重算,表中 Brier 仅对应严格口径。
真实晨报去重:七对同题
概率表示“重复”。浅橙是 0.5 判定线上的错误;浅红是高置信错判(双向 ≥0.85)。ML=multilingual checkpoint;EN=English checkpoint;“中/英”指提问语言,state 均不变。Laya 使用 0.3.21 + 当前 HF revision 权重;逐条结果三轮完全稳定。
| 样本 | 严格真值 | Jev | Kev-4B | Kev-0.8B | Laya ML·中 | Laya ML·英 | Laya EN·英 |
|---|---|---|---|---|---|---|---|
| #0 HN / Lobsters 同文 | 重复 | 0.660 | 0.760 | 0.580 | 0.219 | 0.947 | 0.127 |
| #1 掘金同作者两篇 | 不重复 | 0.210 | 0.451 | 0.487 | 0.984 | 0.993 | 0.372 |
| #2 MIT 通讯 / 单篇 | 不重复* | 0.880口径争议 | 0.860 | 0.425 | 0.027 | 0.754 | 0.334 |
| #3 两个不同 GitHub 仓库 | 不重复 | 0.100 | 0.304 | 0.422 | 0.250 | 0.996 | 0.265 |
| #4 Gary Marcus 两篇 | 不重复 | 0.250 | 0.219 | 0.306 | 0.138 | 0.907 | 0.865 |
| #5 Thariq 同功能宣布 | 重复 | 0.930 | 0.939 | 0.602 | 0.930 | 0.993 | 0.887 |
| #6 两个不同 GitHub 仓库 | 不重复 | 0.050 | 0.233 | 0.351 | 0.310 | 0.956 | 0.214 |
* #2 的真值争议见上。表内红色标注只按严格标签,不说明另一口径必然错误。
两套口径并排统计
| 模型 / 环境 | 严格分文 | #2 合并 | Brier 严格 ↓ | ≥0.85 覆盖 / 错 | 高概率误合并 |
|---|---|---|---|---|---|
| Jev云端 | 6/7 | 7/7 | 0.145 | 4/7 · 错 1 | #2 |
| Kev-4B本地 | 6/7 | 7/7 | 0.171 | 2/7 · 错 1 | #2 |
| Kev-0.8B本地 | 7/7 | 6/7 | 0.164 | 0/7 · 错 0 | 无 |
| Laya ML·中本地 | 5/7 | 4/7 | 0.252 | 4/7 · 错 1 | #1 |
| Laya ML·英本地 | 2/7 | 3/7 | 0.612 | 6/7 · 错 4 | #1, #3, #4, #6 |
| Laya EN·英本地 | 5/7 | 4/7 | 0.270 | 3/7 · 错 2 | #4 |
Kev-0.8B 的 7/7 随 #2 口径改为 6/7;它的阳性概率仅 0.58–0.60,双向 ≥0.85 覆盖为 0。Laya ML·中在两套口径都是不能自动合并 #1。不要把 6/7 vs 5/7 当成通用模型能力排名。
资源与延迟:不要跨日期硬排名
| 运行体 | 单对墙钟 p50 / p95 | 观测边界 |
|---|---|---|
| Jev · 官方直连 | 0.315 / 0.416 s | 21 次;9/29 与 Kev-4B 配对 |
| Kev-4B · CPU fp32 | 5.240 / 6.300 s | 21 次;三轮 |
| Kev-0.8B · CPU fp32 | 0.973 / 1.225 s | 14 次;两轮 |
| Laya 0.3.21 ML·中 · CPU | 0.371 / 0.497 s | 21 次;三轮;同批次 3.0–3.1 s |
Jev 是 TypeSafe 官方直连,数据离开本机;Kev 与 Laya 本地 CPU 处理,原始数据可留本地。Kev-4B fp32 常驻 RSS 约 16.07 GB;Laya 0.3.21 multilingual 权重约 644 MB、首次加载约 7.9 秒,英文 checkpoint 权重约 843 MB、首次加载约 2.9 秒。本轮 Laya 逐条三轮无翻转。Laya 最新版不是旧版速度的简单继承。[E1–E3]
Laya 0.3.21 使用 torch 2.8.0+cpu、10 线程;Kev/Jev 9/29 使用 torch 2.8.0+cu128 的 CPU 路径、16 线程,Jev 走 TypeSafe 官方。三方机器与运行日期不同,延迟只做工程量级参考,不能声称同场速度排名。
其他场景:不是同题三方成绩
批量:两个不同实验,不能混称同题
Kev-4B:从七对晨报中取 5 对置于同一个 state,附 policy 和每条 scope;与逐条各同输入重复三轮。#1 独立三轮均 0.4513(保留),批量三轮均 0.7624(合并)。批量热态两轮 8.34/8.45 秒,逐条五对合计约 24 秒,吞吐获益但语义稳定偏移;冷态 25.4 秒。[E2]
Laya-0.3.21 的多 state predict_batch:同一 7 对、同一问题、同一 multilingual/English checkpoint,三轮结果逐条完全等于 serial;multilingual 中文 3.00–3.11 秒/7 条,serial 2.67–2.72 秒,CPU 反而慢约 13%;English 中文慢约 17%,English 英文慢约 25%。因此新版 API 形态是语义安全但当前 CPU 无吞吐收益。[E4]
单 state 多记录:把 5 条记录塞进一个 state,multilingual 三轮均约 0.969–0.974,English 三轮均约 0.899–0.917,和各自逐条结果明显不同;这仍是稳定的上下文形态偏移,不应拿作多 state API 的失败证明。[E4]
拒答门:对 multilingual 的 #1 错误答案 0.9841,min_confidence=0.85 与 0.95 都照样返回错误答案;只有 0.99 才标记 low_confidence。这不是可接受的通用修复,因为会牺牲大量正常覆盖。[E5]
引入价、验证机制与回滚机制
| 路线 | 引入价 / 预期收益 | 过关机制 | 回退 |
|---|---|---|---|
| Jev 维持主链 | 官方直连有数据外发与厂商可用性风险;历史调用量级约 $0.00002/次,实际成本按供应商账单,不由本报告外推节省。 | 现有三态开关、缺答和降级审计;不可逆动作保持人工复核,不因 7/7 敏感口径自动放行。 | 现有场景 marker/shadow/off 与规则 fallback;不变更生产。 |
| Kev-4B 本地影子 | 本地数据;约 16 GB RSS、真实去重 p50 5.24 秒、已落盘权重/venv 占空间;引入 CPU wheel 锁定和监控成本。 | 先建盲标临界集,独立评估误合并率、Brier 与双向门槛、逐条/批量形态等价;验证冷/热态、OOM/故障降级、业务 SLO,独立 review PASS 后才讨论转正。 | 仅离线或 shadow,不改变业务输出;撤去影子调用即回 Jev,严禁作为合并唯一门。 |
| Laya 0.3.21 候选复评 | multilingual 权重约 644 MB、英文 checkpoint 约 843 MB;本轮 CPU 运行仅约 0.3–2.1 秒/问题,且新环境隔离。 | 已完成同题逐条/多 state 批量各 3 轮;仍需更大的盲标临界集与一周 shadow,特别检查双语敏感样本、单 state 多记录和 `min_confidence`。 | 只保留离线结果,不注册服务、不改生产;移除新环境即可回现状。 |
唯一推荐:本轮保持 Jev;如为本地韧性投入下一步,只对 Laya 新版做一次有边界的离线复评。 理由是内存成本相对可控、项目新版本提供分 state 批处理,但历史高置信误合并必须在新版本真实消除才有升级资格。Kev-4B 保留为对照物;两者都不进入生产自动合并。
限制、版本与可审计来源
- 样本量只有七对,其中 #2 标签存在业务口径歧义;Brier 与双向门槛是七题的描述量,不是“已校准”证明。多语言和多个 checkpoint 为诊断臂,不能事后挑最高分当预注册优胜。
- Laya 0.3.21 实测已覆盖逐条、多 state predict_batch、单 state 多记录和 min_confidence;0.3.6 仅作历史背景,不参与当前版分数。0.3.21 的 ONNX 路径未在本机运行。[R1][R2][R3][E4][E5]
- Kev 的 15 道简单题、Laya 的 Wiki/retain/T6、三方七对为不同证据层。统计分母与时间分开;延迟受线程、路由与缓存影响,报告只列测量条件。
- 本报告只做离线评估,没有新增生产接入、权重下载、重新启用 Laya 环境或常驻服务。综合结论属内部小样本选型,不是公开性能榜。
本地原始回执(在本机查验;仅列文件名与 SHA256,公开时不暴露绝对路径):
[E1] Laya 0.3.21 results.json · HF revision 55cf4c4ebb4ebe31b2550e8bdf3bd21b99753851 · cf7a51f5df5a669bb921b8977693a2fcf40c4ddd9241ac02ec0aba13ed5e2f51
[E2] Kev-4B + Jev compare-4b-real-dedupe-3.jsonl · 7bbea2bf17deb867f28321f51dcc7968c848e45fa1142ed2d500709037ce837f;Kev 批量 batch-4b-bound-repeated.json · 9551cbad8ce667b676b79ec342566a2f53e97aada07b6ebd24b7b45e83cec83b
[E3] Kev-0.8B compare-08b-real-dedupe.jsonl · 1e663d94b6d28be851bd07677dd8ac80c65a51d990a3a727c1cd47a633bf9780;固定样本 cases-real-dedupe.json · ce14ddad08980e5bef7d19dbcace326fc829b333454df165a7632702ba4eee53
[E4] Laya 0.3.21 batch/combined 实测见 results.json;[E5] min_confidence.json · 6a735c823f973a27479c5f91d7224ac2b3473280ed3aca174417de299a24dbb6
[R1] Laya v0.3.21 发布说明;[R2] ONNX predict_batch PR;[R3] 可选低置信拒答 PR;[R4] Kev 仓库。
本地综合报告 · 生成于 2026-09-29 · 一切对外发布以独立审查与精确目标页回读为准。