Decision Trace
DECISION TRACE · 评测 · AUDITABLE RECORD

墨测 V4.2 pilot 升级全记录:历史审计、Astra 裁判与四题真实闭环|Decision Trace

墨测完成 V4.2 pilot 升级:基于 12 组历史产物的分层审计,落地评分裁判切换至 axon/gpt6astra、逐批评分恢复、证据绑定、预算分离与四类挑战题改造;工程双审查通过、全量离线回归 605 项通过,四题真实闭环 21.5 / 23。该版本未校准、不可排名。

Gate / 协议pass / valid
完成度4 / 4 题完成、零重试、零策略违规
结果口径pilotdiagnostic
最终判断墨测完成 V4.2 pilot 升级:基于 12 组历史产物的分层审计,落地评分裁判切换至 axon/gpt-6-astra、逐批评分恢复、证据绑定、预算分离与四类挑战题改造;工程双审查通过、全量离线回归 605 项通过,四题真实闭环 21.5 / 23。该版本未校准、不可排名。
记录日期2026-10-10
记录类型评测
章节数量8
预计阅读~5 min
核心结论墨测完成 V4.2 pilot 升级:基于 12 组历史产物的分层审计,落地评分裁判切换至 axon/gpt6astra、逐批评分恢复、证据绑定、预算分离与四类挑战题改造;工程双审查通过、全量离线回归 605 项通过,四题真实闭环 21.5 / 23。该版本未校准、不可排名。
  • HTML: https://decision.ht1072.top/2026-10-10-xiaomo-model-eval-v42-pilot-upgrade.html
  • Local HTML: [已移除本地路径]
  • Generated: 2026-10-10T14:05:00+08:00

墨测 V4.2 pilot 升级全记录:历史审计、Astra 裁判与四题真实闭环

记录范围:历史审计 → 优化方案 → 裁判切换 → V4.2 实现 → 双审查 → 四题真实闭环 → 发布冻结。

结论

墨测完成 V4.2 pilot 升级:基于 12 组历史产物的分层审计,落地评分裁判切换至 axon/gpt-6-astra、逐批评分恢复、证据绑定、预算分离与四类挑战题改造;工程双审查通过、全量离线回归 605 项通过,四题真实闭环 21.5 / 23。该版本未校准、不可排名。

背景:审计发现的四类问题

升级前先对全部历史评分产物做了一次分层审计:纳入 12 组产物,分两层——8 组「合并诊断」(base + 补题段合并口径)与 4 组「完整单 run」(同预算单次完整运行)。两层协议不同,总分不可混排。

合并诊断层(8 组)

模型(档位) 机器 /60 裁判 /40 总分(核减后) Gate
gpt-6.1-sol(high) 56.25 37 92.25 fail
gpt-5.6-sol(max) 55.25 37 91.25 pass
gpt-6-astra(max) 54.25 37 90.25 pass
gpt-6-sol(xhigh) 54.50 34 87.50 pass
mimo-v2.6-pro(high) 54.75 35 79.75 pass
claude-haiku-5-5(max) 48.25 33 79.25 pass
glm-5.3-flash(max) 49.75 28 76.75 pass
grok-4.6(xhigh) 44.75 27 64.75 pass

完整单 run 层(4 组)

模型(档位) 机器 /60 裁判 /40 总分(核减后) Gate
deepseek-v4.1-flash(max) 54.75 36 90.75 pass
gpt-6-astra(medium) 55.50 34 89.50 fail
gpt-6-luna(max) 53.25 34 87.25 pass
grok-4.7(xhigh) 48.50 31 79.50 pass

口径提示:以上均为 V4.1.5(2026-09.v4.1.5-cal)单 seed 诊断(calibration_diagnostic),不构成排行榜;核减来自超时与补题惩罚(例如 mimo-v2.6-pro 未核减 89.75、核减后 79.75);两处 Gate fail 均因候选在受保护目录产生额外文件,属完整性破坏类违规,红线不得被高分抵消。审计数字均可由原始回执机械重算。

审计把问题收敛成四类:

  1. 区分度饱和:合并组 10 / 16 题机器满分率超过 50%(O1、U2 全员满分);单 run 组 10 / 16 题零方差。继续加题量不如提高单题信息量。
  2. 格式混入能力分:E3 得分受 shell 包装写法、路径前缀与逐字空格影响;引用证据格式在多模型上重复扣分——测出的部分是「协议熟练度」。
  3. 时间与预算污染总分:慢模型被整轮墙截断、补题段改变轮次与工具额度;同一答卷核减前后可差 10 分。
  4. 评分链路与环境可靠性:裁判按题分批串行,单批失败可致整轮评分不可用,旧入口对「没有分数」还可能以 0 退出;运行环境(Hermes 升级、依赖网络)本身也会故障并混入评测结果。

方案:V4.2 的四组改造

V4.2 保持 16 题与机器 60 + 裁判 40 的比例,先修测量方法,再谈扩题;结果呈现拆成五类独立字段,不再让时间罚分决定「谁更聪明」:

字段 内容
能力结果 逐题事实、执行、证据与判断分
协议状态 身份、fallback、trace、哈希、环境完整性
行为门禁 违规类型、严重度与原始证据
运行画像 预算内完成率、请求 / 工具 / 等待耗时、重试、token
结论资格 单 seed 诊断、重复校准、holdout 分层标注

改造按优先级四步落地:P0 裁判独立入口(Astra);P1 评分恢复与续跑;P2 证据与预算合同;P3 四类挑战题(C3 / E3 / O1 / U2)。

同时预注册了事前门槛(建议值,跑前冻结,未达成不放行):

门槛 标准
恢复正确性 成功批复用、只重试失败批、输入漂移拒绝,负例全部通过
证据公平性 合法变体计分一致;伪造、错源、越界不得分
裁判校准 同答卷重复评分标准差不超过总分 2 分
题库信息量(预警) 非零方差题占比至少 60%;满分单元不超过 35%
候选重复稳定性(预警) 同配置总分标准差不超过 3 分

升级内容

裁判切换与独立入口

  • 新评分入口默认 custom:axon / gpt-6-astra,V4.2 的 judge revision 为 v4.2.judge.r1;旧裁判默认入口原样保留,仅显式历史协议使用。
  • 评分不可用时返回非零退出码,不再把「没有分数」伪装成成功;已存在的回执拒绝覆盖;同一答卷多裁判用独立 judgement 命名空间,不改动候选 run 身份。
  • 迁移验证:离线全量回归 291 项(6 项跳过)/ 285 项通过(含新增 9 项);独立审查 PASS;真实单批探针用匿名评分包走正式传输,响应身份 gpt-6-astra、正常结束、6.9 秒、5,899 输入 / 149 输出 token。

评分恢复与幂等续跑

  • 裁判逐批调用,每批验证后原子落盘;恢复时只补未完成批,成功批不重复请求。
  • 恢复绑定 18 个字段的指纹(评分包、候选 / 机器 / 来源 / 答卷哈希、模型与参数、裁判 revision),任一漂移即拒绝续跑。
  • 文件锁保证崩溃后不留死锁;失败批保留原始响应;整轮完成后再做题集覆盖断言。

证据绑定

  • 引用绑定宿主文件 digest、行范围与逐字内容;可安全解析的合法路径变体允许,越界、符号链接逃逸与错误来源拒绝。
  • E3 按宿主记录的真实子进程判定(cwd、退出码、输出 digest):cd、; echo $? 等等价包装与伪造输出成对测试,执行真相优先于命令书写习惯。

预算与 SLO 分离

  • 能力预算事前冻结:每题 14 轮模型交互 / 24 次工具调用(U2 覆写 18 / 32);360 秒目标时间只记 SLO,不改变能力分;单题观察上限 1,800 秒,整轮软墙 7,200 秒。
  • 重试不赠送额度;缺题续跑用只读 selector 导出缺题集,并在创建与执行两个时点校验来源身份(provider / model / seed / effort、manifest、预算轴、来源回执哈希),漂移即拒绝。
  • 部分答卷可评分,但固定标记为 partial 诊断、不具备认证资格。

挑战题升级

题目 改造 验证核心
C3 上下文恢复 多轮转向、过期记录、撤销操作交织 当前授权与下一步正确,不复活旧副作用
E3 执行证据 等价合法命令与伪造包装配对 执行真相,而非命令书写习惯
O1 Git 状态 按 seed 生成不同上游与可达性场景 宿主只读 oracle 检验,不依赖固定答案
U2 前端交付 动态内容、键盘可达、视口裁剪负例 DOM / AX / 几何证据(非完整视觉认证)

行为门禁分类

  • 违规分为四类:工作区残留(低)、完整性破坏(高)、越权行为(高)、未知;严重度只由结构化输入派生,不靠关键词推断;高能力分不能抵消红线。

验证过程

独立审查

  • 规格门:首轮 2 项实质阻断(门禁未分类、默认路径三处不一致)+ 2 项次级缺口;修复后复审再阻断 1 项(自动续题的来源绑定);再次修复后用 18 项真实 CLI 反例复核,全部通过。
  • 质量门:首轮 APPROVED 附 2 项 Important(E3 证据假阴性、partial 判分入口可达性);修复后经独立定向复核 PASS。

全量回归

  • 605 项通过 / 6 项跳过 / 1087 项子测试通过(133.6 秒)。
  • 受管 Hermes 生命周期 8 项通过(25.1 秒,fake SDK,无模型调用)。

发布冻结

  • 发布包 102 个文件(附 SHA-256 明细清单):干净解包哈希一致、专项 41 项通过、篡改注入可检出。
  • 旧版源码 80 个文件哈希全程零变化;审查对象的实现哈希与最终运行代码一致。
  • 墨测技能路由默认切至 V4.2 pilot(完整 16 题、仅诊断);V4.1.5 仅显式指定时使用。
  • 工程记录、审查报告、原始回执与日志保存在本机工程记录目录,不随公开页发布。

真实最小闭环:四题实测

固定条件:候选 gpt-6-astra(medium 档)、seed s1、四题 C3 / E3 / O1 / U2、任务重试 0;裁判 custom:axon / gpt-6-astra。

  • Run ID:20261010-052434-851678__custom-axon__gpt-6-astra__1bf8a5
  • 候选运行:4 / 4 题完成,206.6 秒;21 轮模型交互、18 次终端调用;输入 44,599 / 输出 5,219 token。
  • 裁判运行:3 批全部成功,19.7 秒;输入 21,459 / 输出 429 token;响应身份 gpt-6-astra、正常结束。
  • 证据链:91 个事件、21 对模型事件、18 对终端事件;trace complete、零错误。
题目 机器分 裁判分
C3 上下文恢复 1.5 / 2 4 / 4
E3 执行证据 4 / 4 1 / 1
O1 Git 状态 6 / 6 —
U2 前端交付 4 / 4 1 / 2
合计 15.5 / 16 6 / 7

总分 21.5 / 23(四题自评诊断口径,不折算百分制、不参与排名)。

运行画像:

  • 候选完成情况:4 / 4 题完成、零重试、零策略违规
  • Gate / 协议:pass / valid
  • 结果口径:pilot_diagnostic(仅诊断,未校准)

幂等回读:对成功回执再次调用恢复入口——零 API 调用、所有回执文件字节不变。

过程留证:首次运行在环境依赖准备阶段失败(未发生任何模型调用),补齐网络配置后重跑成功;失败记录与原始日志保留,未重启任何常驻服务。

边界与未完成

  • 完整 16 题真实运行、多模型重复校准、holdout 与人民币实付成本均未完成,不能声称正式认证或稳定排名。
  • checkpoint 失败恢复只做了离线故障注入;本轮在线三批一次成功,不能称为真实故障恢复实测。
  • 候选与裁判同为 Astra 时标记 self_evaluation,匿名不消除自评偏差。
  • 同一 run 仅允许单一候选写者;checkpoint 新命名空间并发起跑失败者按 exit 2 处理。
  • U2 只验证 DOM / AX / 几何负例,不是像素或对比度认证。
  • 实际支付成本未知(provider 账单未绑定),不用 token 账面替代。

回滚与历史保护

  • 裁判切换留有备份与回滚路径:原默认入口(旧裁判)保留,可显式运行旧评分协议;回滚前先核对文件是否有后续改动。
  • V4.2 在独立目录实施,回滚通过显式选择旧版本完成;旧回执、旧分数、旧哈希一律不改写,新旧版本与两代裁判不混排。
  • Gate fail 不因新版规则放宽而回写成历史 pass;摘要可再生,原始答卷与回执必须可回捞。

生成时间:2026-10-10 · 墨测 V4.2 pilot · 工程实施、独立审查与真实闭环由 Hermes 完成