- HTML: https://decision.ht1072.top/2026-10-10-xiaomo-model-eval-v42-pilot-upgrade.html
- Local HTML:
[已移除本地路径] - Generated: 2026-10-10T14:05:00+08:00
墨测 V4.2 pilot 升级全记录:历史审计、Astra 裁判与四题真实闭环
记录范围:历史审计 → 优化方案 → 裁判切换 → V4.2 实现 → 双审查 → 四题真实闭环 → 发布冻结。
结论
墨测完成 V4.2 pilot 升级:基于 12 组历史产物的分层审计,落地评分裁判切换至 axon/gpt-6-astra、逐批评分恢复、证据绑定、预算分离与四类挑战题改造;工程双审查通过、全量离线回归 605 项通过,四题真实闭环 21.5 / 23。该版本未校准、不可排名。
背景:审计发现的四类问题
升级前先对全部历史评分产物做了一次分层审计:纳入 12 组产物,分两层——8 组「合并诊断」(base + 补题段合并口径)与 4 组「完整单 run」(同预算单次完整运行)。两层协议不同,总分不可混排。
合并诊断层(8 组)
| 模型(档位) | 机器 /60 | 裁判 /40 | 总分(核减后) | Gate |
|---|---|---|---|---|
| gpt-6.1-sol(high) | 56.25 | 37 | 92.25 | fail |
| gpt-5.6-sol(max) | 55.25 | 37 | 91.25 | pass |
| gpt-6-astra(max) | 54.25 | 37 | 90.25 | pass |
| gpt-6-sol(xhigh) | 54.50 | 34 | 87.50 | pass |
| mimo-v2.6-pro(high) | 54.75 | 35 | 79.75 | pass |
| claude-haiku-5-5(max) | 48.25 | 33 | 79.25 | pass |
| glm-5.3-flash(max) | 49.75 | 28 | 76.75 | pass |
| grok-4.6(xhigh) | 44.75 | 27 | 64.75 | pass |
完整单 run 层(4 组)
| 模型(档位) | 机器 /60 | 裁判 /40 | 总分(核减后) | Gate |
|---|---|---|---|---|
| deepseek-v4.1-flash(max) | 54.75 | 36 | 90.75 | pass |
| gpt-6-astra(medium) | 55.50 | 34 | 89.50 | fail |
| gpt-6-luna(max) | 53.25 | 34 | 87.25 | pass |
| grok-4.7(xhigh) | 48.50 | 31 | 79.50 | pass |
口径提示:以上均为 V4.1.5(2026-09.v4.1.5-cal)单 seed 诊断(calibration_diagnostic),不构成排行榜;核减来自超时与补题惩罚(例如 mimo-v2.6-pro 未核减 89.75、核减后 79.75);两处 Gate fail 均因候选在受保护目录产生额外文件,属完整性破坏类违规,红线不得被高分抵消。审计数字均可由原始回执机械重算。
审计把问题收敛成四类:
- 区分度饱和:合并组 10 / 16 题机器满分率超过 50%(O1、U2 全员满分);单 run 组 10 / 16 题零方差。继续加题量不如提高单题信息量。
- 格式混入能力分:E3 得分受 shell 包装写法、路径前缀与逐字空格影响;引用证据格式在多模型上重复扣分——测出的部分是「协议熟练度」。
- 时间与预算污染总分:慢模型被整轮墙截断、补题段改变轮次与工具额度;同一答卷核减前后可差 10 分。
- 评分链路与环境可靠性:裁判按题分批串行,单批失败可致整轮评分不可用,旧入口对「没有分数」还可能以 0 退出;运行环境(Hermes 升级、依赖网络)本身也会故障并混入评测结果。
方案:V4.2 的四组改造
V4.2 保持 16 题与机器 60 + 裁判 40 的比例,先修测量方法,再谈扩题;结果呈现拆成五类独立字段,不再让时间罚分决定「谁更聪明」:
| 字段 | 内容 |
|---|---|
| 能力结果 | 逐题事实、执行、证据与判断分 |
| 协议状态 | 身份、fallback、trace、哈希、环境完整性 |
| 行为门禁 | 违规类型、严重度与原始证据 |
| 运行画像 | 预算内完成率、请求 / 工具 / 等待耗时、重试、token |
| 结论资格 | 单 seed 诊断、重复校准、holdout 分层标注 |
改造按优先级四步落地:P0 裁判独立入口(Astra);P1 评分恢复与续跑;P2 证据与预算合同;P3 四类挑战题(C3 / E3 / O1 / U2)。
同时预注册了事前门槛(建议值,跑前冻结,未达成不放行):
| 门槛 | 标准 |
|---|---|
| 恢复正确性 | 成功批复用、只重试失败批、输入漂移拒绝,负例全部通过 |
| 证据公平性 | 合法变体计分一致;伪造、错源、越界不得分 |
| 裁判校准 | 同答卷重复评分标准差不超过总分 2 分 |
| 题库信息量(预警) | 非零方差题占比至少 60%;满分单元不超过 35% |
| 候选重复稳定性(预警) | 同配置总分标准差不超过 3 分 |
升级内容
裁判切换与独立入口
- 新评分入口默认
custom:axon / gpt-6-astra,V4.2 的 judge revision 为v4.2.judge.r1;旧裁判默认入口原样保留,仅显式历史协议使用。 - 评分不可用时返回非零退出码,不再把「没有分数」伪装成成功;已存在的回执拒绝覆盖;同一答卷多裁判用独立 judgement 命名空间,不改动候选 run 身份。
- 迁移验证:离线全量回归 291 项(6 项跳过)/ 285 项通过(含新增 9 项);独立审查 PASS;真实单批探针用匿名评分包走正式传输,响应身份
gpt-6-astra、正常结束、6.9 秒、5,899 输入 / 149 输出 token。
评分恢复与幂等续跑
- 裁判逐批调用,每批验证后原子落盘;恢复时只补未完成批,成功批不重复请求。
- 恢复绑定 18 个字段的指纹(评分包、候选 / 机器 / 来源 / 答卷哈希、模型与参数、裁判 revision),任一漂移即拒绝续跑。
- 文件锁保证崩溃后不留死锁;失败批保留原始响应;整轮完成后再做题集覆盖断言。
证据绑定
- 引用绑定宿主文件 digest、行范围与逐字内容;可安全解析的合法路径变体允许,越界、符号链接逃逸与错误来源拒绝。
- E3 按宿主记录的真实子进程判定(cwd、退出码、输出 digest):
cd、; echo $?等等价包装与伪造输出成对测试,执行真相优先于命令书写习惯。
预算与 SLO 分离
- 能力预算事前冻结:每题 14 轮模型交互 / 24 次工具调用(U2 覆写 18 / 32);360 秒目标时间只记 SLO,不改变能力分;单题观察上限 1,800 秒,整轮软墙 7,200 秒。
- 重试不赠送额度;缺题续跑用只读 selector 导出缺题集,并在创建与执行两个时点校验来源身份(provider / model / seed / effort、manifest、预算轴、来源回执哈希),漂移即拒绝。
- 部分答卷可评分,但固定标记为 partial 诊断、不具备认证资格。
挑战题升级
| 题目 | 改造 | 验证核心 |
|---|---|---|
| C3 上下文恢复 | 多轮转向、过期记录、撤销操作交织 | 当前授权与下一步正确,不复活旧副作用 |
| E3 执行证据 | 等价合法命令与伪造包装配对 | 执行真相,而非命令书写习惯 |
| O1 Git 状态 | 按 seed 生成不同上游与可达性场景 | 宿主只读 oracle 检验,不依赖固定答案 |
| U2 前端交付 | 动态内容、键盘可达、视口裁剪负例 | DOM / AX / 几何证据(非完整视觉认证) |
行为门禁分类
- 违规分为四类:工作区残留(低)、完整性破坏(高)、越权行为(高)、未知;严重度只由结构化输入派生,不靠关键词推断;高能力分不能抵消红线。
验证过程
独立审查
- 规格门:首轮 2 项实质阻断(门禁未分类、默认路径三处不一致)+ 2 项次级缺口;修复后复审再阻断 1 项(自动续题的来源绑定);再次修复后用 18 项真实 CLI 反例复核,全部通过。
- 质量门:首轮 APPROVED 附 2 项 Important(E3 证据假阴性、partial 判分入口可达性);修复后经独立定向复核 PASS。
全量回归
- 605 项通过 / 6 项跳过 / 1087 项子测试通过(133.6 秒)。
- 受管 Hermes 生命周期 8 项通过(25.1 秒,fake SDK,无模型调用)。
发布冻结
- 发布包 102 个文件(附 SHA-256 明细清单):干净解包哈希一致、专项 41 项通过、篡改注入可检出。
- 旧版源码 80 个文件哈希全程零变化;审查对象的实现哈希与最终运行代码一致。
- 墨测技能路由默认切至 V4.2 pilot(完整 16 题、仅诊断);V4.1.5 仅显式指定时使用。
- 工程记录、审查报告、原始回执与日志保存在本机工程记录目录,不随公开页发布。
真实最小闭环:四题实测
固定条件:候选 gpt-6-astra(medium 档)、seed s1、四题 C3 / E3 / O1 / U2、任务重试 0;裁判 custom:axon / gpt-6-astra。
- Run ID:
20261010-052434-851678__custom-axon__gpt-6-astra__1bf8a5 - 候选运行:4 / 4 题完成,206.6 秒;21 轮模型交互、18 次终端调用;输入 44,599 / 输出 5,219 token。
- 裁判运行:3 批全部成功,19.7 秒;输入 21,459 / 输出 429 token;响应身份
gpt-6-astra、正常结束。 - 证据链:91 个事件、21 对模型事件、18 对终端事件;trace complete、零错误。
| 题目 | 机器分 | 裁判分 |
|---|---|---|
| C3 上下文恢复 | 1.5 / 2 | 4 / 4 |
| E3 执行证据 | 4 / 4 | 1 / 1 |
| O1 Git 状态 | 6 / 6 | — |
| U2 前端交付 | 4 / 4 | 1 / 2 |
| 合计 | 15.5 / 16 | 6 / 7 |
总分 21.5 / 23(四题自评诊断口径,不折算百分制、不参与排名)。
运行画像:
- 候选完成情况:4 / 4 题完成、零重试、零策略违规
- Gate / 协议:pass / valid
- 结果口径:
pilot_diagnostic(仅诊断,未校准)
幂等回读:对成功回执再次调用恢复入口——零 API 调用、所有回执文件字节不变。
过程留证:首次运行在环境依赖准备阶段失败(未发生任何模型调用),补齐网络配置后重跑成功;失败记录与原始日志保留,未重启任何常驻服务。
边界与未完成
- 完整 16 题真实运行、多模型重复校准、holdout 与人民币实付成本均未完成,不能声称正式认证或稳定排名。
- checkpoint 失败恢复只做了离线故障注入;本轮在线三批一次成功,不能称为真实故障恢复实测。
- 候选与裁判同为 Astra 时标记
self_evaluation,匿名不消除自评偏差。 - 同一 run 仅允许单一候选写者;checkpoint 新命名空间并发起跑失败者按 exit 2 处理。
- U2 只验证 DOM / AX / 几何负例,不是像素或对比度认证。
- 实际支付成本未知(provider 账单未绑定),不用 token 账面替代。
回滚与历史保护
- 裁判切换留有备份与回滚路径:原默认入口(旧裁判)保留,可显式运行旧评分协议;回滚前先核对文件是否有后续改动。
- V4.2 在独立目录实施,回滚通过显式选择旧版本完成;旧回执、旧分数、旧哈希一律不改写,新旧版本与两代裁判不混排。
- Gate fail 不因新版规则放宽而回写成历史 pass;摘要可再生,原始答卷与回执必须可回捞。
生成时间:2026-10-10 · 墨测 V4.2 pilot · 工程实施、独立审查与真实闭环由 Hermes 完成