Decision Trace
DECISION TRACE · 选型 · AUDITABLE RECORD

Jev、Kev 与 Laya:本地决策模型替代性对照|2026-09-29

在同一组晨报去重样本上核对三方的答案、概率和高风险错误,再把资源、批量语义和运行代价分开审视。报告只比较本机实际留存的回执,不把项目宣传或不同日期的速度包装成同场竞速。

记录日期2026-09-29
记录类型选型
章节数量8
预计阅读~4 min
核心结论在同一组晨报去重样本上核对三方的答案、概率和高风险错误,再把资源、批量语义和运行代价分开审视。报告只比较本机实际留存的回执,不把项目宣传或不同日期的速度包装成同场竞速。
本地评测 · 决策追踪 · 证据版

Jev、Kev、Laya:谁能承担本地决策?

在同一组晨报去重样本上核对三方的答案、概率和高风险错误,再把资源、批量语义和运行代价分开审视。报告只比较本机实际留存的回执,不把项目宣传或不同日期的速度包装成同场竞速。

裁定:维持 Jev 主链;Kev-4B 与 Laya 0.3.21 均不达本地替代门槛。Kev-4B 简单题追平 Jev,但真实去重同错一条高概率样本,批量稳定翻判;Laya 0.3.21 multilingual 中文在小内存下复现 5/7,逐 state 批量结果与逐条一致但 CPU 反而更慢,并在不同文章上给出 0.984 的错误合并概率。旧版 0.3.6 结果不再作为当前版本结论。
7 对三方逐字同题 · 小样本
0.860Kev-4B 的争议样本概率
0.984Laya 错判不同文章概率
NO-GO两款本地模型替代主链

一屏结论

已证明

Jev 和 Kev-4B 在简单构造题均为 15/15;在严格区分文章的七对真实去重上均为 6/7。Laya multilingual 中文为 5/7,却占用更少本机内存。三者都能返回类型化概率,不能据此证明决策等价。

未证明

高风险自动合并安全性:Jev 与 Kev 都把 #2 判重复,Laya 把不同文章 #1 判重复。7 对不足以做统计排名;无同环境新版 Laya 与 Kev/Jev 端到端三方重跑。真实生产是否适用仍需独立人工标注与影子验证。

数据与口径

七对样本来自晨报真实候选,三个项目使用逐字相同的 state、中文问题与顺序(构建器从原始记录断言确认)。固定真值:#0、#5 重复,其余不重复,阈值 p≥0.5 判重复。Kev 的重复行只测稳定性,不扩充分母;Laya 采用 0.3.21 在当前 revision 权重上的实测回包,Jev 采用与 Kev-4B 配对的 9/29 直连回包。[E1–E3]

#2 口径敏感:MIT Tech Review 通讯汇编与内嵌单篇新闻。按“不同文章要保留”判不重复;按“内容重叠应合并”可判重复。下表同时给出两套准确数,不用它作单一胜负题。无论选哪套,#1 是不同文章,Laya 的高概率误合并仍成立。

概率误差使用严格标签的 Brier 均值;“≥0.85 判定覆盖”是 max(p, 1−p) 的双向置信度,仅为离线审计,不等同生产删除门槛。另列“错误地自动判重复”的样本 ID。切换 #2 标签后 Brier 必然重算,表中 Brier 仅对应严格口径。

真实晨报去重:七对同题

概率表示“重复”。浅橙是 0.5 判定线上的错误;浅红是高置信错判(双向 ≥0.85)。ML=multilingual checkpoint;EN=English checkpoint;“中/英”指提问语言,state 均不变。Laya 使用 0.3.21 + 当前 HF revision 权重;逐条结果三轮完全稳定。

样本严格真值JevKev-4BKev-0.8BLaya ML·中Laya ML·英Laya EN·英
#0 HN / Lobsters 同文重复0.6600.7600.5800.2190.9470.127
#1 掘金同作者两篇不重复0.2100.4510.4870.9840.9930.372
#2 MIT 通讯 / 单篇不重复*0.880口径争议0.8600.4250.0270.7540.334
#3 两个不同 GitHub 仓库不重复0.1000.3040.4220.2500.9960.265
#4 Gary Marcus 两篇不重复0.2500.2190.3060.1380.9070.865
#5 Thariq 同功能宣布重复0.9300.9390.6020.9300.9930.887
#6 两个不同 GitHub 仓库不重复0.0500.2330.3510.3100.9560.214

* #2 的真值争议见上。表内红色标注只按严格标签,不说明另一口径必然错误。

两套口径并排统计

模型 / 环境严格分文#2 合并Brier 严格 ↓≥0.85 覆盖 / 错高概率误合并
Jev云端6/77/70.1454/7 · 错 1#2
Kev-4B本地6/77/70.1712/7 · 错 1#2
Kev-0.8B本地7/76/70.1640/7 · 错 0无
Laya ML·中本地5/74/70.2524/7 · 错 1#1
Laya ML·英本地2/73/70.6126/7 · 错 4#1, #3, #4, #6
Laya EN·英本地5/74/70.2703/7 · 错 2#4

Kev-0.8B 的 7/7 随 #2 口径改为 6/7;它的阳性概率仅 0.58–0.60,双向 ≥0.85 覆盖为 0。Laya ML·中在两套口径都是不能自动合并 #1。不要把 6/7 vs 5/7 当成通用模型能力排名。

资源与延迟:不要跨日期硬排名

运行体单对墙钟 p50 / p95观测边界
Jev · 官方直连0.315 / 0.416 s21 次;9/29 与 Kev-4B 配对
Kev-4B · CPU fp325.240 / 6.300 s21 次;三轮
Kev-0.8B · CPU fp320.973 / 1.225 s14 次;两轮
Laya 0.3.21 ML·中 · CPU0.371 / 0.497 s21 次;三轮;同批次 3.0–3.1 s

Jev 是 TypeSafe 官方直连,数据离开本机;Kev 与 Laya 本地 CPU 处理,原始数据可留本地。Kev-4B fp32 常驻 RSS 约 16.07 GB;Laya 0.3.21 multilingual 权重约 644 MB、首次加载约 7.9 秒,英文 checkpoint 权重约 843 MB、首次加载约 2.9 秒。本轮 Laya 逐条三轮无翻转。Laya 最新版不是旧版速度的简单继承。[E1–E3]

Laya 0.3.21 使用 torch 2.8.0+cpu、10 线程;Kev/Jev 9/29 使用 torch 2.8.0+cu128 的 CPU 路径、16 线程,Jev 走 TypeSafe 官方。三方机器与运行日期不同,延迟只做工程量级参考,不能声称同场速度排名。

其他场景:不是同题三方成绩

构造题
Kev-4B 与 Jev 同 15 个简单原子题各 15/15(3 轮),Kev-0.8B 13/15;Laya 未跑这套,不能写成三方 15 题准确率对照。[E2]
Wiki 分诊
Laya 9/23 对一条维护型实际 state 给 notify 0.979,而当日 Jev 0.12;历史判据期望静默。Kev 未在完全相同当日 state 和问题上完成同轮试验,不能据此排 Kev 的顺序。[E1]
Retain 预筛
Laya 20 对与 Jev 判定一致 13/20,其中 Jev 判不重复的 15 条仅 8/15 一致;这是一致率,不是真值准确率,没有逐条人工 gold 不能当模型胜负。[E1]
9B
Kev-9B 未下载、未运行。fp32 权重量级已超本机 31 GB RAM;bf16 虽可能容纳但本机 4B bf16 热态速度显著下降。约 30 秒/请求只是按 4B 线性外推的数量级,不是实测。[E2]

批量:两个不同实验,不能混称同题

Kev-4B:从七对晨报中取 5 对置于同一个 state,附 policy 和每条 scope;与逐条各同输入重复三轮。#1 独立三轮均 0.4513(保留),批量三轮均 0.7624(合并)。批量热态两轮 8.34/8.45 秒,逐条五对合计约 24 秒,吞吐获益但语义稳定偏移;冷态 25.4 秒。[E2]

Laya-0.3.21 的多 state predict_batch:同一 7 对、同一问题、同一 multilingual/English checkpoint,三轮结果逐条完全等于 serial;multilingual 中文 3.00–3.11 秒/7 条,serial 2.67–2.72 秒,CPU 反而慢约 13%;English 中文慢约 17%,English 英文慢约 25%。因此新版 API 形态是语义安全但当前 CPU 无吞吐收益。[E4]

单 state 多记录:把 5 条记录塞进一个 state,multilingual 三轮均约 0.969–0.974,English 三轮均约 0.899–0.917,和各自逐条结果明显不同;这仍是稳定的上下文形态偏移,不应拿作多 state API 的失败证明。[E4]

拒答门:对 multilingual 的 #1 错误答案 0.9841,min_confidence=0.85 与 0.95 都照样返回错误答案;只有 0.99 才标记 low_confidence。这不是可接受的通用修复,因为会牺牲大量正常覆盖。[E5]

引入价、验证机制与回滚机制

路线引入价 / 预期收益过关机制回退
Jev 维持主链官方直连有数据外发与厂商可用性风险;历史调用量级约 $0.00002/次,实际成本按供应商账单,不由本报告外推节省。现有三态开关、缺答和降级审计;不可逆动作保持人工复核,不因 7/7 敏感口径自动放行。现有场景 marker/shadow/off 与规则 fallback;不变更生产。
Kev-4B 本地影子本地数据;约 16 GB RSS、真实去重 p50 5.24 秒、已落盘权重/venv 占空间;引入 CPU wheel 锁定和监控成本。先建盲标临界集,独立评估误合并率、Brier 与双向门槛、逐条/批量形态等价;验证冷/热态、OOM/故障降级、业务 SLO,独立 review PASS 后才讨论转正。仅离线或 shadow,不改变业务输出;撤去影子调用即回 Jev,严禁作为合并唯一门。
Laya 0.3.21 候选复评multilingual 权重约 644 MB、英文 checkpoint 约 843 MB;本轮 CPU 运行仅约 0.3–2.1 秒/问题,且新环境隔离。已完成同题逐条/多 state 批量各 3 轮;仍需更大的盲标临界集与一周 shadow,特别检查双语敏感样本、单 state 多记录和 `min_confidence`。只保留离线结果,不注册服务、不改生产;移除新环境即可回现状。

唯一推荐:本轮保持 Jev;如为本地韧性投入下一步,只对 Laya 新版做一次有边界的离线复评。 理由是内存成本相对可控、项目新版本提供分 state 批处理,但历史高置信误合并必须在新版本真实消除才有升级资格。Kev-4B 保留为对照物;两者都不进入生产自动合并。

限制、版本与可审计来源

  • 样本量只有七对,其中 #2 标签存在业务口径歧义;Brier 与双向门槛是七题的描述量,不是“已校准”证明。多语言和多个 checkpoint 为诊断臂,不能事后挑最高分当预注册优胜。
  • Laya 0.3.21 实测已覆盖逐条、多 state predict_batch、单 state 多记录和 min_confidence;0.3.6 仅作历史背景,不参与当前版分数。0.3.21 的 ONNX 路径未在本机运行。[R1][R2][R3][E4][E5]
  • Kev 的 15 道简单题、Laya 的 Wiki/retain/T6、三方七对为不同证据层。统计分母与时间分开;延迟受线程、路由与缓存影响,报告只列测量条件。
  • 本报告只做离线评估,没有新增生产接入、权重下载、重新启用 Laya 环境或常驻服务。综合结论属内部小样本选型,不是公开性能榜。

本地原始回执(在本机查验;仅列文件名与 SHA256,公开时不暴露绝对路径):

[E1] Laya 0.3.21 results.json · HF revision 55cf4c4ebb4ebe31b2550e8bdf3bd21b99753851 · cf7a51f5df5a669bb921b8977693a2fcf40c4ddd9241ac02ec0aba13ed5e2f51

[E2] Kev-4B + Jev compare-4b-real-dedupe-3.jsonl · 7bbea2bf17deb867f28321f51dcc7968c848e45fa1142ed2d500709037ce837f;Kev 批量 batch-4b-bound-repeated.json · 9551cbad8ce667b676b79ec342566a2f53e97aada07b6ebd24b7b45e83cec83b

[E3] Kev-0.8B compare-08b-real-dedupe.jsonl · 1e663d94b6d28be851bd07677dd8ac80c65a51d990a3a727c1cd47a633bf9780;固定样本 cases-real-dedupe.json · ce14ddad08980e5bef7d19dbcace326fc829b333454df165a7632702ba4eee53

[E4] Laya 0.3.21 batch/combined 实测见 results.json;[E5] min_confidence.json · 6a735c823f973a27479c5f91d7224ac2b3473280ed3aca174417de299a24dbb6

[R1] Laya v0.3.21 发布说明;[R2] ONNX predict_batch PR;[R3] 可选低置信拒答 PR;[R4] Kev 仓库。

本地综合报告 · 生成于 2026-09-29 · 一切对外发布以独立审查与精确目标页回读为准。