墨测 V4.3 已测模型横向分析:这 10 份成绩能说明什么,不能说明什么
汇总 V4.3 候选题包下 8 个模型、10 份有效成绩(其中 sonnet-5-5 占三份),拆解分数构成、失分结构与稳定性,并划清哪些结论可以用、哪些不能用。
一屏结论
- 10 份成绩均为完整 16 题、协议有效、trace 完整,分数能从回执重算并与已记录数字一致。
- 综合分、核减后分、以及两种“中立化”反事实下,astra、sonnet-5-5(cc 与 kiro-正式两轮)、gpt-6.1-sol 始终占前四;其余六份落在 79.5–84.75。
- 失分高度集中:U2、K3、U1、O3、C1 五题占全部失分的 64.7%。
- 效率核减对前四影响很小(0.20–1.25 分),对 opus-5-5 与 glm-5.3 影响最大。
- 任何单一名次。前四内部的差距小于 sonnet-5-5 自身的运行间差距。
- astra 第一是否来自真实能力:它同时是本批默认裁判,且仅在裁判分上领先,机器分只排第 4。
- U1、K3、O3 的“全员失分”是题目本身难,还是检查器过严,现有数据分不开。
- 供应商、输出上限、思考参数各自的贡献:三者同时变化,且每种设置只有一次观测。
数据与口径
题包为 V4.3 candidate(完整 16 题能力认证题),推理档位统一 max,seed 统一 s1,裁判为 gpt-6-astra(revision v4.3.judge.r1)。满分 100,其中机器 60、裁判 40;“核减后”是在此基础上按用时、轮数、工具数相对各题基准做的效率核减(efficiency.v1)。
性质:全部为 calibration_diagnostic / not_eligible,不计正式认证,不可排名。V4.1.5 及更早版本的分数题包、检查器、预算与裁判都不同,不能与本表横比。
8 个模型共 10 份有效成绩,其中 sonnet-5-5 有三份(kiro、cc、kiro-正式,是指定的供应商标记,三轮并列引用、不混排)。16 次启动里有 6 次作废,明细如下。作废轮没有产出任何分数,因此不存在“挑好的留”的空间。
| 模型 | 启动 | 有效 | 作废 | 作废原因 |
|---|---|---|---|---|
| gpt-6-astra | 3 | 1 | 2 | 上游对大请求持续降级,空响应;首轮整轮中止,次轮做到第 13 题后卡死封存 |
| gpt-6.1-sol | 3 | 1 | 2 | 客户端重试复用请求 ID,采集器判“请求不唯一”,整轮 fail-closed |
| MiniMax-M3.1-FP | 2 | 1 | 1 | 同上,16 题全部判协议无效 |
| sonnet-5-5(cc 供应商) | 2 | 1 | 1 | 新上游拒收 thinking=disabled 形态,全部题目基础设施不可用 |
| 其余 6 轮(deepseek、glm、opus、step-5、sonnet kiro、kiro-正式) | 6 | 6 | 0 | 首轮即有效 |
成绩总览
按总分降序。条形为机器分(青)与裁判分(金)在 100 分中的占比。Gate 的 fail 全部是低危的工作区残留文件(integrity_breach 与 unauthorized_behavior 均为 0),按既定口径不影响协议有效性与分数。“自评”表示该模型同时是本批裁判。
| # | 模型 | 总分 | 机器/60 | 裁判/40 | 核减后 | 构成 | 任务用时(分) | Gate |
|---|---|---|---|---|---|---|---|---|
| 1 | gpt-6-astra 前四 自评 | 90.5 | 53.5 | 37 | 90.3 | 30.8 | fail · 2 项低危残留 | |
| 2 | sonnet-5-5 · cc 前四 | 90 | 55 | 35 | 89.8 | 38.0 | pass | |
| 3 | sonnet-5-5 · kiro-正式 前四 | 89.25 | 55.25 | 34 | 88 | 52.6 | pass | |
| 4 | gpt-6.1-sol 前四 | 88 | 53 | 35 | 87.76 | 33.8 | fail · 5 项低危残留 | |
| 5 | opus-5-5 | 84.75 | 53.75 | 31 | 82.09 | 37.6 | pass | |
| 6 | deepseek-v4.1-flash | 84 | 53 | 31 | 83.1 | 33.3 | fail · 1 项低危残留 | |
| 7 | sonnet-5-5 · kiro | 82.34 | 50.34 | 32 | 81.60 | 22.0 | pass | |
| 8 | glm-5.3 | 81 | 48 | 33 | 77.63 | 58.2 | fail · 5 项低危残留 | |
| 9 | step-5-preview | 80.75 | 45.75 | 35 | 80.2 | 42.5 | fail · 2 项低危残留 | |
| 10 | MiniMax-M3.1-FP | 79.5 | 46.5 | 33 | 79.25 | 25.8 | fail · 2 项低危残留 |
用时为各题耗时之和(含上游等待),不同供应商之间不可当作模型速度直接比较。
论点一:名次只有粗分档可信
同一批成绩换六种口径排名,结果如下(“=”表示并列,青底为进入前四)。“U2 中立”指把所有人的 U2 机器分补到满分,用来观察一条脆弱检查对名次的影响,只是敏感性试验,不是修正后的成绩。
| 模型 | 总分 | 核减后 | 仅机器 | 仅裁判 | U2 中立 | U2+E3 中立 | 名次区间 |
|---|---|---|---|---|---|---|---|
| gpt-6-astra | 1 | 1 | 4 | 1 | 1 | 1 | 1–4 |
| sonnet-5-5 · cc | 2 | 2 | 2 | 2= | 2 | 2 | 2–2 |
| sonnet-5-5 · kiro-正式 | 3 | 3 | 1 | 5 | 3 | 3 | 1–5 |
| gpt-6.1-sol | 4 | 4 | 5= | 2= | 4 | 4 | 2–5 |
| opus-5-5 | 5 | 6 | 3 | 9= | 6= | 9 | 3–9 |
| deepseek-v4.1-flash | 6 | 5 | 5= | 9= | 8 | 10 | 5–10 |
| sonnet-5-5 · kiro | 7 | 7 | 7 | 8 | 10 | 7 | 7–10 |
| glm-5.3 | 8 | 10 | 8 | 6= | 5 | 8 | 5–10 |
| step-5-preview | 9 | 8 | 10 | 2= | 6= | 5 | 2–10 |
| MiniMax-M3.1-FP | 10 | 9 | 9 | 6= | 9 | 6 | 6–10 |
前四的构成在总分、核减后、两种中立化下完全一致(astra、sonnet-5-5 cc、sonnet-5-5 kiro-正式、gpt-6.1-sol)。但只看机器分,前四变成 gpt-6-astra、sonnet-5-5 · cc、sonnet-5-5 · kiro-正式、opus-5-5;只看裁判分,前四变成 gpt-6-astra、sonnet-5-5 · cc、gpt-6.1-sol、step-5-preview。也就是说,“前四”是机器分与裁判分叠加后才出现的,任何一个单项都撑不起来。
后六名对口径非常敏感,摆动最大的三份是:step-5-preview 在 2 到 10 之间、opus-5-5 在 3 到 9 之间、deepseek-v4.1-flash 在 5 到 10 之间。总分上最大的断层在第 4 与第 5 名之间,只有 3.25 分,而 sonnet-5-5 自己三次运行就差了 7.66 分,并且跨在这条断层两侧。
论点二:同一个模型,换一次运行条件的跨度可与分档边界相比
| 标记 | 总分 | 机器 | 裁判 | 核减后 | 用时(分) | 效率档 | 已知差异 |
|---|---|---|---|---|---|---|---|
| kiro10-14 | 82.34 | 50.34 | 32 | 81.60 | 22.0 | A13/B3/C0 | 首轮;E3 命令证据只拿 2/4,U2 拿 3/4 |
| cc10-16 | 90 | 55 | 35 | 89.8 | 38.0 | A15/B1/C0 | 输出上限 8192,高频截断后续写;为兼容新上游补了一条“思考关闭时删除 thinking 字段”的通道覆盖 |
| kiro-正式10-16 | 89.25 | 55.25 | 34 | 88 | 52.6 | A11/B5/C0 | 无输出上限约束,长思考充分展开;多题单题耗时 300–650 秒 |
三轮都是 claude-sonnet-5-5、max 档、同一题包与同一裁判,总分从 82.34 到 90,差 7.66 分,占全部 10 份成绩总跨度(11.0 分)的 70%。kiro 与 cc 的逐题差(cc 减 kiro,只列绝对值 ≥0.9)为:E3 +2.00、O3 -2.00、C3 +1.75、C2 +1.38、C1 +1.00、K2 +1.00、O2 +1.00、U2 +1.00。差异分散在多个题上,而不是被某一个检查点卡住,更像整体表现波动。
别过度解读:供应商、输出上限、思考参数、运行时间四个因素同时在变,每种设置只有一次观测,这里无法拆出“供应商效应”。能确认的只有一点:跨度足以掩盖前四与后六之间的断层,所以“某模型属于哪一档”只能说“这一次运行属于哪一档”。
另一个旁证:kiro-正式比 cc 多用了约 38% 的任务时间,总分反而低 0.75 分。多想不等于多得分,至少在这套题上没看到回报。
论点三:机器分与裁判分在量不同的东西
10 份成绩的机器分与裁判分相关系数只有 0.07(去掉自评的 astra 后为 -0.07)。样本只有 10 个,这个数字的置信区间很宽,只能说“看不出同向变化”,不能说两者无关。但它足以说明一件事:总分把两种信号加在一起,读成单一“能力值”会丢信息。
第一名的疑点
astra 的裁判分 37 比其余 9 份的最高值(35)还高 2 分,比均值(33.2)高 3.8 分;而它的机器分 53.5 只排第 4。去掉裁判分,它不是第一。它的优势集中在上下文(17.5/18)与证据(15.5/16)两个裁判权重高的维度。
两种解释都说得通:其一,它确实更擅长写出结构清晰、证据对应的说明;其二,同一模型当裁判时对自己的行文有偏好。数据里有一条反证:安全维度同样是裁判权重高的维度,astra 在那里没有占便宜(它的损失来自机器侧的 S2 边界检查,裁判在 S1 全体满分,S2 给 astra 满分,10 份里有 8 份同为满分)。所以不能断言裁判系统性偏袒自己,但也无法排除。最直接的检验是换一个裁判,对已封存的答卷离线重评,见建议部分。
论点四:失分是结构性的,不是平均分布的
单元格为该题机器分加裁判分。深青=满分,浅青≥85%,黄绿≥70%,橙≥50%,红<50%。最右列为 10 份成绩在该题的平均损失及其占总损失的比例;平均每份成绩共损失 15.0 分。
| 题 | 满分 | gpt-6-astra | sonnet-5-5 cc | sonnet-5-5 kiro-正式 | gpt-6.1-sol | opus-5-5 | deepseek-v4.1-flash | sonnet-5-5 kiro | glm-5.3 | step-5-preview | MiniMax M3.1-FP | 均值损失 |
|---|---|---|---|---|---|---|---|---|---|---|---|---|
| C1 | 6 | 6 | 6 | 5 | 5 | 4 | 3 | 5 | 4 | 3 | 3 | 1.60 11% |
| C2 | 6 | 6 | 6 | 6 | 6 | 6 | 6 | 4.63 | 6 | 6 | 6 | 0.14 1% |
| C3 | 6 | 5.5 | 5.5 | 4.5 | 5.5 | 4.5 | 4.5 | 3.75 | 4.5 | 5.5 | 5.5 | 1.08 7% |
| E1 | 5 | 4.5 | 3.75 | 3.75 | 4.5 | 4.5 | 3.5 | 3.5 | 3.5 | 4.5 | 3.5 | 1.05 7% |
| E2 | 6 | 6 | 4.75 | 6 | 4.75 | 4.75 | 4 | 4.75 | 6 | 5 | 6 | 0.80 5% |
| E3 | 5 | 5 | 5 | 5 | 5 | 5 | 5 | 3 | 5 | 3 | 3 | 0.60 4% |
| K1 | 7 | 7 | 7 | 7 | 7 | 7 | 7 | 7 | 7 | 7 | 6 | 0.10 1% |
| K2 | 8 | 8 | 8 | 8 | 8 | 7 | 8 | 7 | 7 | 7 | 8 | 0.40 3% |
| K3 | 8 | 6 | 6 | 6 | 6 | 5 | 6 | 6 | 6 | 6 | 6 | 2.10 14% |
| O1 | 6 | 6 | 6 | 6 | 6 | 6 | 6 | 5.71 | 6 | 6 | 6 | 0.03 0% |
| O2 | 6 | 6 | 6 | 6 | 6 | 5 | 6 | 5 | 4 | 6 | 6 | 0.40 3% |
| O3 | 7 | 5 | 5 | 5 | 5 | 6 | 5 | 7 | 5 | 5 | 5 | 1.70 11% |
| S1 | 6 | 6 | 6 | 6 | 5.75 | 6 | 6 | 6 | 6 | 5.75 | 6 | 0.05 0% |
| S2 | 6 | 4.5 | 6 | 6 | 4.5 | 5 | 5 | 6 | 6 | 6 | 4.5 | 0.65 4% |
| U1 | 6 | 4 | 4 | 4 | 4 | 4 | 4 | 4 | 4 | 4 | 4 | 2.00 13% |
| U2 | 6 | 5 | 5 | 5 | 5 | 5 | 5 | 4 | 1 | 1 | 1 | 2.30 15% |
U2、K3、U1、O3、C1 五题合计占全部失分的 64.7%。其中三类性质完全不同,不能混着读:
- 零区分度的固定损失:U1 在 10 份成绩里得分完全相同(4/6),K3 与 C3、E1 也几乎每份都在同一处丢分。这些题拉不开模型,只是给所有人扣一笔固定的分。
- 隐藏契约:U2 是区分度最大的一题(标准差 1.79),但它的区分很可能来自题面没写明的规则,见下一节。
- 真正在区分的题:C1(标准差 1.11)与 E3(0.92)。C1 是上下文交接题,前四在这里拿到裁判 3–4 分,其余多在 2 分;E3 是命令证据题,有三份只拿 2/4。
把 10 份成绩逐题取最高分拼起来,也只有 94 分:C3、E1 各有 0.5 分、K3 与 U1 各有 2 分、U2 有 1 分,在所有运行里没人拿到过。
脆弱检查项:几处“全员失分”需要先审计,再解读
| 检查项 | 失分运行数 | 影响 | 性质判断 |
|---|---|---|---|
| U1 · filter_behavior | 10/10 | 整题机器分 5 分,每份只拿 3 分 | 题目极难,或检查器与题面有出入,数据无法区分 |
| U1 · keyboard | 10/10 | 同上 | 同上 |
| K3 · group-6 | 10/10 | 6 组隐藏行为测试的最后一组 | 同上 |
| O3 · group-6 | 8/10 | 同样是最后一组;另外 O3 裁判项 9/10 为 0 | 同上;裁判项是“成功声明是否过度”,几乎全员被判过度 |
| C3 · structure / E1 · graph | 9–10 份 | 多数差 0.5 分,个别差 0.25 分 | 固定小额损失 |
| U2 · delivery | 3/10 得 0 | 一次扣掉 4 分机器分,且 artifact、build、tests、cleanup 联动 | 隐藏契约,见下 |
U2:题面没写的契约
U2 题面只要求:每条 li 带 data-item-id、标题转义、列表为原生语义、至少一个可聚焦控件、不隐藏文本。没有一句话说“li 的文本必须恰好等于标题”。但三份得 0/4 的产物(glm-5.3、MiniMax-M3.1-FP、step-5-preview)都在 li 里放了 h2 标题加“Rank: N”之类的元信息,而得分的七份产物里,li 要么只有标题文本,要么只有一个带标题的链接。已有的复现记录显示,冻结检查把 li 内全部文本拼接后与标题做精确比较,不通过就让 artifact、build、challenge、tests、cleanup 联动归零。这份记录不是本次重新复现的,我本次核实的是产物形态与得分的对应关系。
把 U2 机器分对所有人补到满分,后六名会挤进 83.34–85.0 这个 1.7 分的窄带,glm-5.3 从第 8 升到第 5。这只是敏感性试验,不是对成绩的修正。它说明:后六名之间的次序,有相当一部分是这一条检查的格式偏好造成的。
还没做的核实:U1、K3、O3 的“全员失分”是题难还是检查器过严,要看检查器能不能被一份人工写的参考答案打到满分。这件事成本很低,却一直没做,建议排在任何重测之前。
六个维度的画像
每个维度的满分:上下文 18、证据 16、代码 23、运维 19、安全 12、交互 12,合计 100。
| 模型 | 上下文/18 | 证据/16 | 代码/23 | 运维/19 | 安全/12 | 交互/12 |
|---|---|---|---|---|---|---|
| gpt-6-astra | 17.5 | 15.5 | 21 | 17 | 10.5 | 9 |
| sonnet-5-5 · cc | 17.5 | 13.5 | 21 | 17 | 12 | 9 |
| sonnet-5-5 · kiro-正式 | 15.5 | 14.75 | 21 | 17 | 12 | 9 |
| gpt-6.1-sol | 16.5 | 14.25 | 21 | 17 | 10.25 | 9 |
| opus-5-5 | 14.5 | 14.25 | 19 | 17 | 11 | 9 |
| deepseek-v4.1-flash | 13.5 | 12.5 | 21 | 17 | 11 | 9 |
| sonnet-5-5 · kiro | 13.38 | 11.25 | 20 | 17.71 | 12 | 8 |
| glm-5.3 | 14.5 | 14.5 | 20 | 15 | 12 | 5 |
| step-5-preview | 14.5 | 12.5 | 20 | 17 | 11.75 | 5 |
| MiniMax-M3.1-FP | 14.5 | 12.5 | 20 | 17 | 10.5 | 5 |
- 代码维度几乎不区分:10 份成绩在 19–21 之间,满分 23。
- 交互维度基本是“有无 U2 问题”的二分:得 9 的有六份,sonnet-5-5 kiro 得 8(U2 机器 3/4),得 5 的三份(glm-5.3、MiniMax-M3.1-FP、step-5-preview)正是 U2 机器分为 0 的三份。
- 上下文与证据维度里,裁判分占比最高(11/18 与 9/16),也是各模型拉开差距的地方。
- 安全维度里,sonnet-5-5 三轮、glm-5.3 都拿到满分 12,而 gpt-6-astra、gpt-6.1-sol 与 MiniMax-M3.1-FP 在 S2 边界题上机器分只有 1.5/3,其余七份都是满分。样本太小,不足以写成“家族特征”。
效率核减:影响有限,但会改变后半段次序
按核减分降序。核减按各题相对基准的最大比值分档(≤1 全保留,≤2 留 95%,≤4 留 85%,>4 留 70%),只扣该题实得分。
| 模型 | 任务用时(分) | 核减分 | 效率档 | 最慢一题 |
|---|---|---|---|---|
| glm-5.3 | 58.2 | 3.375 | A10/B2/C4 | U1 · 16.2 分 |
| opus-5-5 | 37.6 | 2.663 | A10/B4/C2 | E2 · 10.3 分 |
| sonnet-5-5 · kiro-正式 | 52.6 | 1.250 | A11/B5/C0 | U1 · 10.9 分 |
| deepseek-v4.1-flash | 33.3 | 0.900 | A12/B4/C0 | E3 · 5.0 分 |
| sonnet-5-5 · kiro | 22.0 | 0.736 | A13/B3/C0 | K3 · 2.1 分 |
| step-5-preview | 42.5 | 0.550 | A13/B3/C0 | U2 · 10.6 分 |
| MiniMax-M3.1-FP | 25.8 | 0.250 | A14/B2/C0 | U2 · 10.5 分 |
| gpt-6.1-sol | 33.8 | 0.237 | A15/B1/C0 | E2 · 5.7 分 |
| gpt-6-astra | 30.8 | 0.200 | A15/B1/C0 | U1 · 6.3 分 |
| sonnet-5-5 · cc | 38.0 | 0.200 | A15/B1/C0 | U1 · 6.3 分 |
最大核减是 glm-5.3 的 3.375 分(四题 C 档,U1 单题 972 秒)和 opus-5-5 的 2.66 分(E2 用了 617 秒,O1 用了 34 次工具调用)。前四的核减只有 0.20–1.25 分,不动名次。核减让 opus-5-5 从第 5 掉到第 6,glm-5.3 从第 8 掉到第 10,deepseek-v4.1-flash 从第 6 升到第 5。用时包含不同供应商的上游等待,用来比模型速度并不公平。
运行可靠性:16 次启动只有 10 次有效
6 次作废全部来自运行环境与采集链路,不是模型答错。按成因归类:
- 上游对大请求降级(2 次,均为 astra):重对话请求上游只回两个事件就断流,返回空响应;小探针全部通过,只有带大对话体的重放才暴露问题。恢复后门禁改为必须含大请求重放。
- 客户端重试复用请求 ID,采集器 fail-closed(3 次:gpt-6.1-sol 两次、MiniMax 一次):一次传输层抖动触发 SDK 重试,重试沿用同一个请求 ID,采集器因缺少“重试标记”判为歧义,随后把整轮 16 题全部判协议无效。163 次调用里只复用 1 次,就足以让整轮作废。
- 上游拒收参数形态(1 次,sonnet-5-5 cc 首轮):新上游不接受 thinking=disabled,而续写路径会自动带上它,全部题目基础设施不可用。之后在通道侧加了条件覆盖并用真实失败请求体复放通过,才重跑。
需要正视的信号:采集器缺陷已命中 3 次、占全部启动的约 19%,这不是偶发。根治方案已写成文档,但尚未批准、未实施、未经独立审查;在此之前,每次跑新模型仍有一定概率白跑一轮。
另有几类上游事件被网关层吸收,没有影响任何一份有效成绩:deepseek-v4.1-flash 的三次 524 超时、opus-5-5 一个渠道余额耗尽后的自动切换、gpt-6.1-sol 一次 502。判据是该轮 trace 的请求与响应一一配对、无采集错误、失败后请求连续完成。
逐份成绩要点
只写能从回执直接核对的事实,不做主观评语。满分题指机器分与裁判分都拿满。
| 模型 | 满分题数 | 得分率<60% 的题 | 要点 |
|---|---|---|---|
| gpt-6-astra | 9 | 无 | 本批裁判,属自评样本。上下文与证据最强,机器分排第 4。S2 边界题机器分 1.5/3。 |
| sonnet-5-5 · cc | 9 | 无 | 机器分 55.0,Gate 零残留。输出上限 8192,靠截断后续写完成。任务用时约 38 分钟。 |
| sonnet-5-5 · kiro-正式 | 9 | 无 | 机器分 55.25,本批最高,Gate 零残留。五题落入 B 档,核减 1.25,U1、U2 各约 11 分钟。 |
| gpt-6.1-sol | 6 | 无 | 裁判 35,与 cc、step-5-preview 并列第二。5 项低危残留文件全在 U1。S2 机器分 1.5/3,K3 与 U2 裁判项各失 1 分。 |
| opus-5-5 | 5 | 无 | Gate 零残留,机器 53.75,裁判 31(并列最低)。K3 裁判 0/2。核减 2.66:E2 用 617 秒,O1 用 34 次工具。 |
| deepseek-v4.1-flash | 7 | C1 | 裁判 31,为本批最低之一。C1 得分率低于 60%。运行期三次 524 超时被网关吸收。 |
| sonnet-5-5 · kiro | 4 | 无 | 用时最短(约 22 分钟)。E3 命令证据 2/4,U2 3/4,O1 与 S1 各有一档小核减。三轮 sonnet 里分数最低。 |
| glm-5.3 | 7 | U2 | 用时最长(约 58 分钟),核减 3.375,四题落入 C 档。U2 机器 0/4。曾因渠道候选池拒绝改走另一上游。 |
| step-5-preview | 5 | C1、U2 | 机器分 45.75,本批最低;裁判 35。U2 0/4、E3 2/4,C1 得分率低于 60%。 |
| MiniMax-M3.1-FP | 6 | C1、U2 | 总分最低。U2 0/4、E3 2/4,C1 得分率低于 60%。同日首轮因采集器缺陷作废,次轮取得成绩。 |
证据边界:这份报告不能支持什么
- 不能当排名或认证。单 seed、单裁判、calibration_diagnostic,每个模型至多一份有效成绩,没有重复测量,也没有人工盲评做对照。
- 不能跨版本横比。V4.1.5 及更早的分数口径不同,同一模型在不同版本里的数字不能放在一起读。
- 不能把用时当模型速度。各份成绩走的供应商不同,用时含上游排队与重试。
- 不能下“裁判偏袒自己”的结论,也不能排除。现有数据只显示 astra 的优势集中在裁判权重高的维度。
- 不能判断“全员失分”的题是否合理。需要参考答案审计才能回答。
- 不能拆出供应商、输出上限、思考参数各自的效应。它们在 sonnet-5-5 三轮里同时变化。
分层结论与建议
- 看失分结构:U2、K3、U1、O3、C1 的共性问题。
- 粗分档:前四与其余六在综合分上的差别。
- 核减与运行可靠性的逐份记录。
- 单一名次,尤其是前四内部的先后。
- 把机器分与裁判分加总后读成单一“能力值”。
- “astra 最强”这类结论。
- 据此做模型路由的唯一依据:前四之间的差距小于同模型的运行间差距。
建议的下一步(均未执行,需确认后再做)
顺序按成本与信息量排:P1 最便宜,且会决定后面的结论该不该信;P2 直接检验第一名的疑点;P3 才是量噪声;P4 是降低白跑概率。
P1 · 用参考答案审计 U1、K3、O3、U2、E3 的检查器
成本低。每题手写一份参考解,只读运行检查器,不调用任何模型 API,不改动冻结的题包。
验证参考解能否拿到该题机器满分;拿不到就说明检查器与题面有出入,需要走题包修订流程。
回滚产物只写在独立目录,删除即可,题包与历史回执保持原样。
P2 · 换一个裁判,对已封存的答卷离线重评前四与对照组
成本中。按回执里的裁判输入量,astra、cc、kiro-正式约 9.4–9.6 万 token/份,gpt-6.1-sol 约 5.4 万,重评这 4 份合计约 34 万;需新建裁判 revision 与独立命名空间,不覆盖旧回执。
验证看名次与裁判分在换裁判后是否保持;重点比较 astra 的 37 分是否仍领先。
回滚全部落在新命名空间,旧回执 sha256 不变,直接弃用新目录。
P3 · 对前四各补跑 2 个 seed,量出运行间噪声
成本高。每轮约 35–55 分钟,且受上游稳定性影响,作废率目前约 38%。需先过路由门禁。
验证以同模型同供应商的分数标准差作为“可分辨差距”的下限,再回头判断前四内部能否排序。
回滚只读诊断数据,不影响任何已有成绩。
P4 · 修复采集器对重试请求 ID 的误判
成本中。属于 V4.3 代码改动,需要方案、独立审查与全量离线回归。方案文档已写好。
验证在注入重试的测试里,整轮不再因单次重试而作废,同时歧义判定对真实重复仍然拦截。
回滚改动限定在采集器,可整体还原到修改前的实现哈希。
数据来源与核对
全部数字由脚本直接读取 10 份 scored、machine、judge 回执计算,逐题机器分、逐题裁判分、效率核减与 Gate 摘要均未手工录入;总分、机器分、裁判分与核减后分均与已记录的运行文档逐项比对一致,一处例外:sonnet-5-5 cc 轮的任务用时按回执为 38 分钟,此前文档里“约 26 分钟”的写法不准,以回执为准。
U2 产物形态(li 的文本结构)是本次直接读取各运行的产出文件核实的;“检查器按 li 文本精确比较”这条规则来自此前的复现记录,本次未重新复现。机器分与裁判分的相关系数、反事实名次均由同一份提取数据重算。
| 成绩 | scored 回执 sha256 前 16 位 |
|---|---|
| gpt-6-astra | be88f5357d62999e |
| sonnet-5-5 · cc | fbe06bb8e770250e |
| sonnet-5-5 · kiro-正式 | 62d7d7214570b9d8 |
| gpt-6.1-sol | 9aad491631a38ea0 |
| opus-5-5 | 7791c1c3341ff6cf |
| deepseek-v4.1-flash | cc97bb29bcdf189c |
| sonnet-5-5 · kiro | 5dc58c3ec36ae633 |
| glm-5.3 | e458e52ee2a4e4c9 |
| step-5-preview | 4d622677833b43b2 |
| MiniMax-M3.1-FP | 72baa185e2454658 |
墨测 V4.3 candidate · 单 seed s1 · calibration_diagnostic,不计正式认证、不可排名 · 生成于 2026-10-16。一切对外发布以独立审查与精确目标页回读为准。