Jev P0 五项接入效果报告

HTML: https://decision.ht1072.top/2026-09-20-jev-p0-rollout-effect-2026-09-20.html
Local HTML: [已移除本地路径]
Generated: 2026-09-20T15:57:20+08:00

Jev P0 五项接入效果报告（2026-09-20）

承接《Jev 能力落地清单》P0 五节全部接入并完成真实测试。共用底座：~/.hermes/scripts/jev_client.py（三原语封装 + 三分法 + 风险分级阈值）

总览

#	场景	模式	核心效果（实测）
1	晨报跨源语义去重	生产（已在上轮上线）	Jev 优先 + LLM 兜底，故障降级实证
2	晨报噪音过滤复核	生产	救回规则误杀的真新闻，确认删除真导购
3	晨报翻译质量验收	生产	漏译数字精准识别；争议译法自动低置信
4	早报条目重要度评分	影子（只记录不干预）	跨源质量分层，非 AI 社会新闻被正确降权
5	Wiki 治理告警分诊	生产（cron 已恢复）	拦截维护项噪音；该 cron 此前因噪音被暂停 1 个月
6	Hindsight retain 预筛	影子（绝不拦截）	发现 40 条中 16 对语义重复

关键判断：需要改变输出/不可逆的（5、6）先影子；只做救回或标记的（2、3）直接生产；告警分诊（5）因有每日巡检兜底，可生产。

P0-2 噪音过滤复核（生产）

现状缺陷（有据）：规则 is_commerce_deal_item 靠关键词命中，实测误杀过真实新闻：

历史误杀条目	来源
Anthropic continues compute-gobbling streak in $45 billion deal	TechCrunch
Is Slate Auto's new electric truck the EV Americans need?	MIT Tech Review

Jev 复核实测：

条目	Jev prob	判定
Anthropic $45B deal（真新闻）	0.01	救回 ✅
TCL 电视折扣（真导购）	0.96	确认删除 ✅
开学季教育优惠（真导购）	0.96	确认删除 ✅

设计：规则保持高召回，Jev 只负责"救回"（只增不减，风险最低）。Jev 不可用时原样返回规则结果。

P0-3 翻译质量验收（生产）

现状缺陷：翻译零验收——译错、漏译无人知晓。

实测表现（真实晨报数据 + 构造样本）：

译文	score	conf	标记
Anthropic 完成新一轮融资（漏掉 450亿/3500亿估值）	0.04	0.94	`review`
OpenAI 发布 GPT-6 星芒（争议译法）	1.53	0.29	`low_confidence`
真实晨报：`Jev 置于 TLA+ 规范之后...零错误判决`（生硬直译）	1.66	0.49	`low_confidence`

核心价值：两种失败模式都能抓——内容错误（漏数字→低分）和表达问题（生硬/争议→低置信）。后者是 LLM 自报置信度做不到的（LLM 全部报 0.85+）。

设计：抽样（默认 12 条标题）+ 只标记不阻断。审计落 ~/.cache/hermes/morning-brief/translate_qa_latest.json。

已修 bug：同轮多次调用（主 sources + GitHub 趋势）会互相覆盖审计 → 引入 BATCH_ID 合并。

P0-4 重要度评分（影子模式）

设计：默认 JEVI_IMPORTANCE_ENFORCE=0——只打分落审计，不改变输出。影子期检查代码内建（若条数变化会告警）。

实测分层（真实晨报 20 条）：

低分（应降权）	score	高分（核心动态）	score
尼日利亚监狱 37 人死亡	0.06	OpenAI 预计 2030 前烧 $278B	3.17
委内瑞拉黄金储备转移	0.29	NYT 提交判决动议质疑 OpenAI	3.16
特朗普记者禁令	0.50	微软高管称 AI 抓取=大规模劳动力盗用	2.85

判断与晨报定位高度一致。启用时机：跑一周后人工核对低分榜是否合理，再决定 ENFORCE=1。

P0-5 Wiki 治理告警分诊（生产，cron 已恢复）

背景发现：llm-wikis-governance-alert 自 2026-08-19 起被暂停，已静默一个月。

噪音根因（有据）：最后一次推送（8-19 07:28）内容为：

结论: Wiki 治理检查状态：action-needed（需介入处理）
关键计数: broken_links=0, hard_orphans=3, promotion_backlog=1,
          stale_central_pages=110, indexed_orphans=0

110 个陈旧中心页 + 3 个孤岛是持续背景维护项，不是"需现在介入"的问题——被 verdict 字符串直接推给用户。

Jev 分诊实测：

场景	notify_prob	紧急度	结论
8-19 真实场景（action-needed）	0.45	1.69	静默（灰区保守）
当前 maintenance（32 陈旧页）	0.10	1.06	静默 ✅
伪造 warning（14 断链+6 孤岛）	0.89	1.58	通知 ✅

结论：如果当时有这层分诊，该 cron 不会被暂停。

设计：分诊脚本 wiki_alert_triage.py 独立于 cron prompt；should_notify=null（Jev 不可用）时回退原 verdict 规则，不阻断链路。

P0-6 Hindsight retain 预筛（影子模式）

立场：retain = 写长期记忆，误删不可逆 → 绝不拦截，只观测。

实测发现（Hindsight 现有 15,117 节点 / 1,380 文档）：

40 条抽样中 16 对确认语义重复（40%）
关键案例：prob=0.97 但 Jaccard=0.613——字符串相似度抓不准，Jev 抓到了
低价值识别：备份文件 fetcher.py.bak-...（0.09）、产物文件名清单（0.29）

这个场景 Jev 的价值不在"值不值得记"（主观强，模糊区占 7/15），而在"重复检测"（客观、有据）——建议后续拦截只针对重复，不针对价值评分。

产出：独立影子 cron hindsight-retain-prescreen-shadow（每日 05:20，deliver=local 不打扰）。

故障降级验证矩阵

故障场景	预期	实测
Jev 完全不可用（坏 key）→ 去重	转 LLM 兜底	✅ backend=llm，7/7 完成
Jev 不可用 → 噪音复核	保持原规则行为	✅ 真导购仍被删除
Jev 不可用 → 翻译验收/重要度	静默跳过，不抛异常	✅
摘要文件缺失 → wiki 分诊	报 error 并 should_notify=true	✅
Jev 不可用 → wiki 分诊	should_notify=null 回退	✅
Hindsight 不可达 → retain 预筛	优雅返回空	✅

零故障传播：Jev 全面不可用时，晨报输出与接入前行为一致。

成本实测

场景	单次量	成本
语义去重	5-7 对	~$0.0001
噪音复核	1-3 条	~$0.00004
翻译验收	12 条	~$0.00019
重要度扫描	20 条	~$0.00038
wiki 分诊	1 次	~$0.00002
retain 预筛	40 条	~$0.00067

单日全量约 $0.0014，月成本 < $0.05 —— 成本不是约束。

配置开关（全部可用 env 覆盖）

开关	默认	作用
`MORNING_BRIEF_SEMANTIC_DEDUP`	1	语义去重总开关
`MORNING_BRIEF_SEMANTIC_DEDUP_BACKEND`	auto	auto/jev/llm
`MORNING_BRIEF_JEVI_NOISE_REVIEW`	1	噪音复核
`MORNING_BRIEF_JEVI_TRANSLATE_QA`	1	翻译验收
`MORNING_BRIEF_JEVI_IMPORTANCE`	1	重要度扫描
`MORNING_BRIEF_JEVI_IMPORTANCE_ENFORCE`	0	是否真实过滤（影子→生效）
`WIKI_ALERT_JEVI_THRESHOLD`	0.7	wiki 分诊通知门槛

回滚

fetcher.py.bak-20260920-jev-backend（接入前）
fetcher.py.bak-20260920-semantic-dedup（语义去重前）
jobs.json.bak-20260920-wiki-triage（cron 改动前）
所有场景均为附加层，可用 env 单独关闭，无需回滚文件

待观察

重要度影子期（建议 1 周）：核对低分榜合理性 → 决定是否 ENFORCE=1
retain 预筛：累积重复检测样本 → 决定是否启用"仅重复拦截"
wiki 分诊：明早 07:25 首跑，确认噪音拦截生效
翻译验收：连续观察标记命中率，校准 JEVI_TRANSLATE_QA_MIN
去重阈值：HN/Lobsters 类落灰区案例，决定是否下调 JEVI_HIGH