Jev 影子期对照基线快照(截至 2026-09-21)
- 用途:预注册对照判据。09-23 10:00 影子期汇总推送后,用本记录对照差异,避免事后合理化。
- 上游:
https://decision.ht1072.top/2026-09-21-jev-batch-form-stage1-record-2026-09-21.html - 回滚方案(本地):
~/llm-wikis/knowledge-ops/queries/jev-batch-form-rollback-plan-2026-09-21.md - 证据目录:
~/llm-wikis/knowledge-ops/evidence/jev-batch-form-2026-09-21/
Jev 影子期对照基线快照(截至 2026-09-21)
结论
本记录冻结三样东西:改了什么(文件与开关的实际生效状态)、现在的数据长什么样(截至 09-21 的逐日基线)、09-23 该看什么(预注册判据,现在写死)。09-23 的汇总由既有 cron 自动推送并发布 decision trace,届时只需把新数据套进第 5 节的判据表即可,不需要重新设计对比方法。
一个重要预期先说清:09-23 的汇总只有 retain 预筛会出现「形态混合」告警,重要度与翻译验收全程仍是串行单一形态。看到混合告警是预期内的,不是故障。
一、时间线
| 时间 | 事件 |
|---|---|
| 09-20 | 5 个 Jev 场景上线(去重、噪音复核、翻译验收生产;重要度、retain 预筛影子) |
| 09-20 17:23 | 影子审计改为双写(latest + 按日 history),修复"只留最后一次"的缺陷 |
| 09-21 上午 | 批量形态三阶段验证(pilot → 阶段 1 正式对比 → 场景准入),产出证据目录 |
| 09-21 下午 | 批量底座落地:decide_batch_records / decide_batch_multi;四文件改动,见第 2 节 |
| 09-23 10:00 | cron d49aeb19f40b 自动汇总(--days 3)并推飞书 + 发布 decision trace |
二、改了什么(实际生效状态)
.env 无任何 Jev 相关覆盖,全部走代码默认值——这是下方默认值的可信前提。
| 文件 | 改动 | 实际生效 |
|---|---|---|
~/.hermes/scripts/jev_client.py |
新增 decide_batch_records / decide_batch_multi / batch_report(旧原语未动) |
批量可用,可被调用 |
fetcher.py(morning-brief) |
噪音复核加批量分支 | 串行(MORNING_BRIEF_JEVI_NOISE_BATCH 默认 0) |
wiki_alert_triage.py |
wiki 分诊加批量分支 | 串行(WIKI_ALERT_JEVI_BATCH 默认 0) |
hindsight_retain_prescreen.py |
重复确认 + 价值评分走批量 | 批量(HINDSIGHT_PRESCREEN_BATCH 默认 1) |
jev_shadow_summary.py |
新增 form 分组统计与混合告警 |
汇总时生效 |
文件指纹(回滚锚点):
| 文件 | sha256 |
|---|---|
jev_client.py |
5441333275f3899678a5f10ee0a27ab92873bc4cec16e2dc372ee669353a4c10 |
wiki_alert_triage.py |
45d668de9027d99eec3d72bd1126a66b9bb148cac4d7be708755bb14499c00ca |
hindsight_retain_prescreen.py |
4e04e67286a2116c02fed3ef22051cef7f02852e03729c492132bfbd472faded |
fetcher.py |
4161b1e05fd63aca1f886db21400447bee483b4abeb39a32c15db946eaa58df3 |
jev_shadow_summary.py |
16b15dcf074d3f89bd32c2c89d39cb92f07a6d739d751f84e0c8b86b179d13ff |
关键开关默认值:
| 开关 | 默认 | 对 09-23 数据的影响 |
|---|---|---|
MORNING_BRIEF_JEVI_IMPORTANCE_ENFORCE |
0(影子) | 重要度只记录,不改晨报输出 |
MORNING_BRIEF_SEMANTIC_DEDUP_BACKEND |
auto(jev → llm 兜底) | 去重实际用 Jev |
MORNING_BRIEF_JEVI_HIGH / _LOW |
0.85 / 0.25 | 去重动作门槛 |
JEVI_BATCH |
1 | 批量总开关(=0 全局退回串行,已实测) |
三、截至 09-21 的数据基线
3.1 重要度影子(逐日)
| 日期 | 样本 | 均值 | 低分(≤0.8) | 成本 |
|---|---|---|---|---|
| 09-20 | 19 | 1.67 | 2 | $0.000360 |
| 09-21 | 20 | 2.00 | 2 | $0.000375 |
低分条目(供 09-23 判断是否合理):
| 日期 | 条目 | 分数 |
|---|---|---|
| 09-20 | 少数派《佛国老挝行记》 | 0.02 |
| 09-20 | The Verge《特朗普新增记者禁令》 | 0.54 |
| 09-21 | 新浪财经《9月21日周末要闻:原油期货走高》 | 0.17 |
| 09-21 | Lobsters《Lambda MicroEgg》 | 0.61 |
判断口径:低分应该命中「与 AI/技术动态无关」的内容,且不应误伤核心 AI 动态。
3.2 翻译验收(逐日)
| 日期 | 抽检 | 标记 | 分数均值 | 成本 |
|---|---|---|---|---|
| 09-20 | 12 | 1 | 1.82 | $0.000191 |
| 09-21 | 12 | 1 | 1.83 | $0.000191 |
两日标记率稳定在 1/12。09-23 观察点:标记率是否突增(说明翻译质量或阈值有问题)。
3.3 retain 预筛(逐日)
| 时间 | 扫描 | 重复候选 | 确认重复 | 成本 | 形态 |
|---|---|---|---|---|---|
| 09-21 05:21 | 40 | 17 | 17 | $0.000575 | 串行 |
09-22 与 09-23 的 05:20 cron 将走批量,成本预期降至 $0.00035–0.00040 区间(同量级输入下)。
3.4 语义去重(生产,逐 run)
09-20 的 5 次重复运行是同一批候选对(缓存路径),可直接看跨 run 稳定性:
| 候选对 | jac | 09-20 五次运行 | 稳定性 |
|---|---|---|---|
| HN《I built non-autoregressive…》 vs Lobsters 同文 | 0.556 | flag_review 0.60 / 0.60 / 0.61 / 0.60 / 0.56 | 稳定卡在 0.85 阈值下方 |
| MIT《The Download…》 vs《Could AI really kill us all?》 | 0.318 | auto_dedup 0.88 / 0.89 / 0.89 / 0.88 / 0.88 | 稳定在 0.85 之上 |
| GitHub cloudflare vs 仓库对 | 0.231 | keep_both 0.10–0.11 | 稳定 |
| AI HOT《Gary Marcus 评论 Trump…》同主题两篇 | 0.227 | keep_both 0.23 / 0.23 / 0.25 / 0.23 → flag_review 0.26 | ⚠ 末次越过 0.25 下阈值 |
| GitHub addyosmani vs coder | 0.211 | keep_both 0.05 | 稳定 |
其余 run:
| run | 候选对 | 动作分布 |
|---|---|---|
| 09-20 14:19(LLM 版,无 backend 标记) | 6 | auto_dedup 3 / keep_both 3 |
| 09-21 06:45 | 2 | auto_dedup 1(MIT 对 0.88)/ keep_both 1(新对 0.02) |
两个阈值邻域观察(09-23 决策的直接依据):
- 上阈值侧:HN/Lobsters 同文(真重复)稳定在 0.56–0.61,始终够不到 0.85 → 若认为它该被删,就得下调
JEVI_HIGH。 - 下阈值侧(09-21 修订补记):Gary Marcus 同主题两篇从 0.23 漂到 0.26,越过了 0.25 的下阈值,动作由
keep_both变flag_review。性质不同:这条从「明确不同事件」漂成「灰区待审」,虽未触发删除(仍是保守方向),但说明下阈值同样存在邻域漂移。判断时不要只看上阈值。
四、09-23 汇总会看到什么(预期)
cron 用 --days 3,运行时窗口为 09-20 起。预期形态标记:
| 场景 | 预期 form_note |
原因 |
|---|---|---|
| 条目重要度 | 单一形态:serial | 未切批量,09-20 至 09-23 全程串行 |
| 翻译验收 | 单一形态:serial | 同上 |
| retain 预筛 | ⚠ 形态混合(batch + serial) | 09-21 为串行,09-22 起为批量 |
看到 retain 预筛的混合告警是预期内的,不是故障。它意味着:该场景的重复率/分数均值若要跨日比较,必须按形态分组看,切换点之前的串行数据不要与之后的批量数据混算同一条趋势线。
若重要度或翻译验收也报混合,说明有非预期改动,需要排查。
五、预注册对照判据(现在写死,事后不改)
09-23 拿到数据后,按下表逐条判。判据在看数据之前确定,避免事后调标准。
| # | 待判问题 | 支持转正/调整的证据 | 反对或维持现状的证据 | 数据不足 |
|---|---|---|---|---|
| 1 | 重要度是否转正(ENFORCE=1) |
低分榜连续多日命中「非 AI 内容」,且核心 AI 动态零误伤 | 出现核心 AI 动态被打低分;或低分榜里混入大量正常内容 | 样本 <3 天或 <50 条 |
| 2 | retain 预筛是否启用「仅重复拦截」 | 确认重复的对经人工核对确为真重复,且跨形态判定一致 | 出现「判重复但实为不同事实」的假阳性 | 批量形态样本 <2 天 |
| 3 | 语义去重阈值是否调整 | flag_review 中确有多条真该删 → 下调 JEVI_HIGH |
flag_review 多为不同事件 → 维持 0.85 |
累计 flag_review <5 条 |
补充判据(本轮新增,来自批量形态验证):
| # | 检查项 | 判据 |
|---|---|---|
| 4 | 形态标记是否如预期 | retain 预筛报混合且分组数据合理 → 通过;重要度/翻译验收报混合 → 排查 |
| 5 | 成本是否落在预期区间 | retain 预筛批量后单日成本应低于串行基线 $0.000575 |
| 6 | 是否出现新的失败模式 | 检查是否出现「缺答」「越界答案」「校验失败」——批量原语已内建这三项记账 |
六、口径提醒(避免误读)
- retain 预筛的串行/批量成本对比是近似对照,不是同输入对照。两次运行检索的是"最近 40 条记忆",间隔数小时,记忆库已被 retain 写入改变,候选对数量不同(串行 17 对 vs 批量 28 对候选)。严格同输入对照在阶段 1 的去重场景做过(同一批 9 对,零动作变化)。
- 分数不可跨形态比较(本轮实测:score 场景批量 vs 串行均值偏移 -0.169,单条最大 1.13)。阈值只对收集它的形态有效。
- 重要度与翻译验收的分数是串行形态累计的,其阈值(
JEVI_IMPORTANCE_DROP=0.8)只在继续用串行时有效;若日后切批量,阈值须重新校准。 - 09-20 14:19 那次去重审计的
backend为None(Jev 替换上线前的 LLM 版本),09-20 14:47 起才带backend=jev。
七、09-23 之后怎么对比
# 1. 复跑汇总(与 cron 同参,可得到完整 JSON 供逐字段对比)
mkdir -p /tmp/jev-shadow && python3 ~/.hermes/scripts/jev_shadow_summary.py \
--days 3 --json-out /tmp/jev-shadow/summary.json --md-out /tmp/jev-shadow/summary.md
# 2. 逐场景对照本记录第 3 节的基线表
# 看:样本量增量、均值漂移、低分/标记/重复数量与构成变化
# 3. 检查形态分组(第 4 节预期)
python3 -c "
import json; d=json.load(open('/tmp/jev-shadow/summary.json'))
for k,v in d['scenes'].items(): print(k, '→', v.get('form_note'))
"
# 4. 套用第 5 节判据表逐条落结论
对比时如需回看本轮全部实测数字:~/llm-wikis/knowledge-ops/evidence/jev-batch-form-2026-09-21/(三臂对照、稳定性、陷阱、缺答探针、人工裁定、自测)。
八、证据索引
| 产物 | 位置 |
|---|---|
| 阶段 1 验证记录(公开) | decision.ht1072.top/2026-09-21-jev-batch-form-stage1-record-2026-09-21.html |
| 批量落地记录(公开) | decision.ht1072.top/2026-09-21-jev-batch-form-switch-record-2026-09-21.html |
| 对比验证方案(公开) | decision.ht1072.top/2026-09-21-jev-batch-form-comparison-verification-plan-2026-09-21.html |
| 回滚方案(本地,含全部指纹) | ~/llm-wikis/knowledge-ops/queries/jev-batch-form-rollback-plan-2026-09-21.md |
| 实测原始数据 | ~/llm-wikis/knowledge-ops/evidence/jev-batch-form-2026-09-21/(15 个文件) |
| 影子历史数据 | ~/.cache/hermes/morning-brief/history/、~/.hermes/logs/hindsight-retain-prescreen/history/ |
| 去重生产审计 | ~/.hermes/logs/morning-brief/run-*.json |