2026-09-21 · DECISION TRACE

Jev 影子期对照基线快照(截至 2026-09-21)

保留方案、指标、验证、复盘和治理判断,让结论能够追溯。

2026-09-21记录日期
其他记录类型
13章节数

Jev 影子期对照基线快照(截至 2026-09-21)

  • HTML: https://decision.ht1072.top/2026-09-21-jev-shadow-baseline-snapshot-2026-09-21.html
  • Local HTML: [已移除本地路径]
  • Generated: 2026-09-21T14:24:08+08:00

Jev 影子期对照基线快照(截至 2026-09-21)

  • 用途:预注册对照判据。09-23 10:00 影子期汇总推送后,用本记录对照差异,避免事后合理化。
  • 上游:https://decision.ht1072.top/2026-09-21-jev-batch-form-stage1-record-2026-09-21.html
  • 回滚方案(本地):~/llm-wikis/knowledge-ops/queries/jev-batch-form-rollback-plan-2026-09-21.md
  • 证据目录:~/llm-wikis/knowledge-ops/evidence/jev-batch-form-2026-09-21/

Jev 影子期对照基线快照(截至 2026-09-21)

结论

本记录冻结三样东西:改了什么(文件与开关的实际生效状态)、现在的数据长什么样(截至 09-21 的逐日基线)、09-23 该看什么(预注册判据,现在写死)。09-23 的汇总由既有 cron 自动推送并发布 decision trace,届时只需把新数据套进第 5 节的判据表即可,不需要重新设计对比方法。

一个重要预期先说清:09-23 的汇总只有 retain 预筛会出现「形态混合」告警,重要度与翻译验收全程仍是串行单一形态。看到混合告警是预期内的,不是故障。

一、时间线

时间 事件
09-20 5 个 Jev 场景上线(去重、噪音复核、翻译验收生产;重要度、retain 预筛影子)
09-20 17:23 影子审计改为双写(latest + 按日 history),修复"只留最后一次"的缺陷
09-21 上午 批量形态三阶段验证(pilot → 阶段 1 正式对比 → 场景准入),产出证据目录
09-21 下午 批量底座落地:decide_batch_records / decide_batch_multi;四文件改动,见第 2 节
09-23 10:00 cron d49aeb19f40b 自动汇总(--days 3)并推飞书 + 发布 decision trace

二、改了什么(实际生效状态)

.env 无任何 Jev 相关覆盖,全部走代码默认值——这是下方默认值的可信前提。

文件 改动 实际生效
~/.hermes/scripts/jev_client.py 新增 decide_batch_records / decide_batch_multi / batch_report(旧原语未动) 批量可用,可被调用
fetcher.py(morning-brief) 噪音复核加批量分支 串行MORNING_BRIEF_JEVI_NOISE_BATCH 默认 0)
wiki_alert_triage.py wiki 分诊加批量分支 串行WIKI_ALERT_JEVI_BATCH 默认 0)
hindsight_retain_prescreen.py 重复确认 + 价值评分走批量 批量HINDSIGHT_PRESCREEN_BATCH 默认 1)
jev_shadow_summary.py 新增 form 分组统计与混合告警 汇总时生效

文件指纹(回滚锚点):

文件 sha256
jev_client.py 5441333275f3899678a5f10ee0a27ab92873bc4cec16e2dc372ee669353a4c10
wiki_alert_triage.py 45d668de9027d99eec3d72bd1126a66b9bb148cac4d7be708755bb14499c00ca
hindsight_retain_prescreen.py 4e04e67286a2116c02fed3ef22051cef7f02852e03729c492132bfbd472faded
fetcher.py 4161b1e05fd63aca1f886db21400447bee483b4abeb39a32c15db946eaa58df3
jev_shadow_summary.py 16b15dcf074d3f89bd32c2c89d39cb92f07a6d739d751f84e0c8b86b179d13ff

关键开关默认值:

开关 默认 对 09-23 数据的影响
MORNING_BRIEF_JEVI_IMPORTANCE_ENFORCE 0(影子) 重要度只记录,不改晨报输出
MORNING_BRIEF_SEMANTIC_DEDUP_BACKEND auto(jev → llm 兜底) 去重实际用 Jev
MORNING_BRIEF_JEVI_HIGH / _LOW 0.85 / 0.25 去重动作门槛
JEVI_BATCH 1 批量总开关(=0 全局退回串行,已实测)

三、截至 09-21 的数据基线

3.1 重要度影子(逐日)

日期 样本 均值 低分(≤0.8) 成本
09-20 19 1.67 2 $0.000360
09-21 20 2.00 2 $0.000375

低分条目(供 09-23 判断是否合理):

日期 条目 分数
09-20 少数派《佛国老挝行记》 0.02
09-20 The Verge《特朗普新增记者禁令》 0.54
09-21 新浪财经《9月21日周末要闻:原油期货走高》 0.17
09-21 Lobsters《Lambda MicroEgg》 0.61

判断口径:低分应该命中「与 AI/技术动态无关」的内容,且不应误伤核心 AI 动态。

3.2 翻译验收(逐日)

日期 抽检 标记 分数均值 成本
09-20 12 1 1.82 $0.000191
09-21 12 1 1.83 $0.000191

两日标记率稳定在 1/12。09-23 观察点:标记率是否突增(说明翻译质量或阈值有问题)。

3.3 retain 预筛(逐日)

时间 扫描 重复候选 确认重复 成本 形态
09-21 05:21 40 17 17 $0.000575 串行

09-22 与 09-23 的 05:20 cron 将走批量,成本预期降至 $0.00035–0.00040 区间(同量级输入下)。

3.4 语义去重(生产,逐 run)

09-20 的 5 次重复运行是同一批候选对(缓存路径),可直接看跨 run 稳定性:

候选对 jac 09-20 五次运行 稳定性
HN《I built non-autoregressive…》 vs Lobsters 同文 0.556 flag_review 0.60 / 0.60 / 0.61 / 0.60 / 0.56 稳定卡在 0.85 阈值下方
MIT《The Download…》 vs《Could AI really kill us all?》 0.318 auto_dedup 0.88 / 0.89 / 0.89 / 0.88 / 0.88 稳定在 0.85 之上
GitHub cloudflare vs 仓库对 0.231 keep_both 0.10–0.11 稳定
AI HOT《Gary Marcus 评论 Trump…》同主题两篇 0.227 keep_both 0.23 / 0.23 / 0.25 / 0.23 → flag_review 0.26 末次越过 0.25 下阈值
GitHub addyosmani vs coder 0.211 keep_both 0.05 稳定

其余 run:

run 候选对 动作分布
09-20 14:19(LLM 版,无 backend 标记) 6 auto_dedup 3 / keep_both 3
09-21 06:45 2 auto_dedup 1(MIT 对 0.88)/ keep_both 1(新对 0.02)

两个阈值邻域观察(09-23 决策的直接依据):

  1. 上阈值侧:HN/Lobsters 同文(真重复)稳定在 0.56–0.61,始终够不到 0.85 → 若认为它该被删,就得下调 JEVI_HIGH
  2. 下阈值侧(09-21 修订补记):Gary Marcus 同主题两篇从 0.23 漂到 0.26,越过了 0.25 的下阈值,动作由 keep_bothflag_review性质不同:这条从「明确不同事件」漂成「灰区待审」,虽未触发删除(仍是保守方向),但说明下阈值同样存在邻域漂移。判断时不要只看上阈值。

四、09-23 汇总会看到什么(预期)

cron 用 --days 3,运行时窗口为 09-20 起。预期形态标记:

场景 预期 form_note 原因
条目重要度 单一形态:serial 未切批量,09-20 至 09-23 全程串行
翻译验收 单一形态:serial 同上
retain 预筛 ⚠ 形态混合(batch + serial) 09-21 为串行,09-22 起为批量

看到 retain 预筛的混合告警是预期内的,不是故障。它意味着:该场景的重复率/分数均值若要跨日比较,必须按形态分组看,切换点之前的串行数据不要与之后的批量数据混算同一条趋势线。

若重要度或翻译验收也报混合,说明有非预期改动,需要排查。

五、预注册对照判据(现在写死,事后不改)

09-23 拿到数据后,按下表逐条判。判据在看数据之前确定,避免事后调标准。

# 待判问题 支持转正/调整的证据 反对或维持现状的证据 数据不足
1 重要度是否转正(ENFORCE=1 低分榜连续多日命中「非 AI 内容」,且核心 AI 动态零误伤 出现核心 AI 动态被打低分;或低分榜里混入大量正常内容 样本 <3 天或 <50 条
2 retain 预筛是否启用「仅重复拦截」 确认重复的对经人工核对确为真重复,且跨形态判定一致 出现「判重复但实为不同事实」的假阳性 批量形态样本 <2 天
3 语义去重阈值是否调整 flag_review 中确有多条真该删 → 下调 JEVI_HIGH flag_review 多为不同事件 → 维持 0.85 累计 flag_review <5 条

补充判据(本轮新增,来自批量形态验证):

# 检查项 判据
4 形态标记是否如预期 retain 预筛报混合且分组数据合理 → 通过;重要度/翻译验收报混合 → 排查
5 成本是否落在预期区间 retain 预筛批量后单日成本应低于串行基线 $0.000575
6 是否出现新的失败模式 检查是否出现「缺答」「越界答案」「校验失败」——批量原语已内建这三项记账

六、口径提醒(避免误读)

  1. retain 预筛的串行/批量成本对比是近似对照,不是同输入对照。两次运行检索的是"最近 40 条记忆",间隔数小时,记忆库已被 retain 写入改变,候选对数量不同(串行 17 对 vs 批量 28 对候选)。严格同输入对照在阶段 1 的去重场景做过(同一批 9 对,零动作变化)。
  2. 分数不可跨形态比较(本轮实测:score 场景批量 vs 串行均值偏移 -0.169,单条最大 1.13)。阈值只对收集它的形态有效。
  3. 重要度与翻译验收的分数是串行形态累计的,其阈值(JEVI_IMPORTANCE_DROP=0.8)只在继续用串行时有效;若日后切批量,阈值须重新校准。
  4. 09-20 14:19 那次去重审计的 backendNone(Jev 替换上线前的 LLM 版本),09-20 14:47 起才带 backend=jev

七、09-23 之后怎么对比

# 1. 复跑汇总(与 cron 同参,可得到完整 JSON 供逐字段对比)
mkdir -p /tmp/jev-shadow && python3 ~/.hermes/scripts/jev_shadow_summary.py \
  --days 3 --json-out /tmp/jev-shadow/summary.json --md-out /tmp/jev-shadow/summary.md

# 2. 逐场景对照本记录第 3 节的基线表
#    看:样本量增量、均值漂移、低分/标记/重复数量与构成变化

# 3. 检查形态分组(第 4 节预期)
python3 -c "
import json; d=json.load(open('/tmp/jev-shadow/summary.json'))
for k,v in d['scenes'].items(): print(k, '→', v.get('form_note'))
"

# 4. 套用第 5 节判据表逐条落结论

对比时如需回看本轮全部实测数字:~/llm-wikis/knowledge-ops/evidence/jev-batch-form-2026-09-21/(三臂对照、稳定性、陷阱、缺答探针、人工裁定、自测)。

八、证据索引

产物 位置
阶段 1 验证记录(公开) decision.ht1072.top/2026-09-21-jev-batch-form-stage1-record-2026-09-21.html
批量落地记录(公开) decision.ht1072.top/2026-09-21-jev-batch-form-switch-record-2026-09-21.html
对比验证方案(公开) decision.ht1072.top/2026-09-21-jev-batch-form-comparison-verification-plan-2026-09-21.html
回滚方案(本地,含全部指纹) ~/llm-wikis/knowledge-ops/queries/jev-batch-form-rollback-plan-2026-09-21.md
实测原始数据 ~/llm-wikis/knowledge-ops/evidence/jev-batch-form-2026-09-21/(15 个文件)
影子历史数据 ~/.cache/hermes/morning-brief/history/~/.hermes/logs/hindsight-retain-prescreen/history/
去重生产审计 ~/.hermes/logs/morning-brief/run-*.json