墨测 V4.3 已测模型横向分析(第二版):14 份成绩,加六维雷达图对照
汇总 V4.3 候选题包下 11 个模型、14 份有效成绩,拆解分数构成、失分结构与稳定性,新增六维雷达图对照,并划清哪些结论可以用、哪些不能用。
上一版(10-16,8 个模型 / 10 份成绩)保持原样可查:墨测 V4.3 横向分析(第一版)。
一屏结论
- 14 份成绩均为完整 16 题、协议有效、trace 完整(错误列表为空、证据链断点为 0),逐题分之和与机器分、裁判分一致,总分与回执一致(回执总分按两位小数舍入)。
- 总分与核减后分两种口径下,前六份成员完全相同:gpt-6-astra、sonnet-5-5 · cc、sonnet-5-5 · kiro-正式、mimo-v2.6-pro、gpt-6.1-sol、opus-5-5 · 二轮;其余八份落在 79.5–85。
- 失分高度集中:U2、K3、U1、C1、O3 五题占平均损失的 66.4%;U1 是唯一“全员同分且非满分”的题,每份固定损失 2 分。
- U2 机器分得 0 的四份,恰好就是 li 里混入了 rank / status / priority 元信息的四份;其余十份的 li 只含标题(本次逐份读取产物核实)。
- 前六内部相邻名次的差距都不超过 1 分。
- 任何单一名次。前六内部相邻差距 ≤1 分,小于 sonnet-5-5 自身 7.66 分、opus-5-5 自身 3.25 分的运行间差距。
- “前六 / 其余八”是否成立:断层 3 分,而 opus-5-5 两轮分别为 88 与 84.75,跨在断层两侧。
- astra 第一是否来自真实能力:它是本批默认裁判,裁判分 37 比其余最高多 2 分,而只看机器分它排第 6。
- K3、U1、O3 的最后一组检查为什么几乎全员失分:是题目本身难,还是检查器过严,现有数据分不开。
- 供应商、输出上限、思考参数、运行时间各自的贡献:它们在同模型多轮之间同时变化,且每种设置只有一次观测。
数据与口径
题包为 V4.3 candidate(完整 16 题能力认证题),推理档位参数统一为 max,seed 统一为 s1,裁判为 gpt-6-astra(revision v4.3.judge.r1)。满分 100,其中机器 60、裁判 40;“核减后”是在此基础上按用时、轮数、工具数相对各题基准做的效率核减(efficiency.v1)。
性质:全部为 calibration_diagnostic / not_eligible,不计正式认证,不可排名。V4.1.5 及更早版本的题包、检查器、预算与裁判都不同,不能与本表横比。
11 个模型共 14 份有效成绩。同一模型的多份成绩并列引用、不混排:sonnet-5-5 三份(kiro、cc、kiro-正式是指定的供应商标记),opus-5-5 两份(按完成先后记首轮、二轮);deepseek-flash 与 deepseek-v4.1-flash 是两个独立路由,MiniMax-M3.1-Flash 与 MiniMax-M3.1-Flash-Preview 是两个独立模型,彼此不可替代引用。22 次启动里有 8 次作废,明细如下。作废轮没有产出任何分数,不存在“挑好的留”的空间。
| 模型 | 启动 | 有效 | 作废 | 作废原因 |
|---|---|---|---|---|
| gpt-6-astra | 3 | 1 | 2 | 上游对大请求降级、空响应、过载;两轮都被人工止损封存,其中一轮已做到第 13 题 |
| gpt-6.1-sol | 3 | 1 | 2 | 传输层抖动触发客户端重试,重试沿用同一请求 ID,采集器判请求不唯一,整轮 fail-closed |
| MiniMax-M3.1-Flash-Preview | 2 | 1 | 1 | 同上,16 题全部判协议无效 |
| MiniMax-M3.1-Flash | 2 | 1 | 1 | 模型输出被上限截断,客户端续写重发时沿用同一请求 ID,同类 fail-closed(第 12 题触发) |
| opus-5-5 | 3 | 2 | 1 | 上游对复杂内容回空响应,约 3 分钟内 30 次连环失败,重试沿用请求 ID;随后人工止损,另有一个重跑目录未启动 |
| sonnet-5-5 | 4 | 3 | 1 | 新上游拒收 thinking=disabled 形态,前 5 题全部判基础设施不可用;通道侧加条件覆盖并用真实失败请求体复放通过后重跑 |
| 其余 5 个模型(deepseek-flash、deepseek-v4.1-flash、glm-5.3、mimo-v2.6-pro、step-5-preview) | 5 | 5 | 0 | 首轮即有效 |
mimo-v2.6-pro 的思考档位需要单独说明:据评测记录引用的上游官方文档,该模型的 reasoning.effort 除 none 外各档行为一致,不区分强度;记录里的实测为 max 参数 128、不传参 155、none 为 0 个 reasoning token。因此这份成绩的口径是“思考开启(max 参数,上游未分级)”,不能写成“max 档高强度推理”。这一点引自评测记录,本报告未重新核对上游文档。
与上一版的对照
| 项目 | 10-16 版(已发布页面所载) | 本版(回执重算) |
|---|---|---|
| 有效成绩 / 模型数 | 10 份 / 8 个 | 14 份 / 11 个 |
| 启动 / 作废 | 16 次 / 6 次(37.5%) | 22 次 / 8 次(36.4%) |
| 机器分与裁判分相关系数 | 0.07(n=10) | 0.04(n=14) |
| 逐题取最高拼出的上限 | 94 / 100 | 95.5 / 100 |
| 同模型最大运行间差距 | 7.66 分(sonnet-5-5 三轮) | 7.66 分(同,三轮不变) |
| 失分最集中的五题 | U2、K3、U1、O3、C1,占 64.7% | U2、K3、U1、C1、O3,占 66.4% |
| 总分上的粗分档 | 前四 / 其余六,断层 3.25 分 | 前六 / 其余八,断层 3 分,且被同模型两轮跨越 |
| 第一名的自评疑点 | 存在 | 仍存在,结论不变 |
上一版(10-16)发布页面保持原样,本版不改动它;两版差异来自新增的 mimo-v2.6-pro、deepseek-flash、MiniMax-M3.1-Flash 三个新模型和 opus-5-5 二轮。
成绩总览
按总分降序,并列用“=”。条形为机器分(青)与裁判分(金)在 100 分中的占比。Gate 的 fail 全部是低危的工作区残留文件(integrity_breach、unauthorized_behavior、unknown 均为 0),按既定口径不影响协议有效性与分数。“自评”表示该模型同时是本批裁判。
| # | 模型 | 总分 | 机器/60 | 裁判/40 | 核减后 | 构成 | 任务用时(分) | Gate |
|---|---|---|---|---|---|---|---|---|
| 1 | gpt-6-astra 前六自评 | 90.5 | 53.5 | 37 | 90.30 | 30.8 | fail · 2 项低危残留 | |
| 2 | sonnet-5-5 · cc 前六 | 90 | 55 | 35 | 89.80 | 38.0 | pass | |
| 3 | sonnet-5-5 · kiro-正式 前六 | 89.25 | 55.25 | 34 | 88.00 | 52.6 | pass | |
| 4 | mimo-v2.6-pro 前六 | 89 | 55 | 34 | 88.50 | 35.2 | fail · 2 项低危残留 | |
| 5= | gpt-6.1-sol 前六 | 88 | 53 | 35 | 87.76 | 33.8 | fail · 5 项低危残留 | |
| 5= | opus-5-5 · 二轮 前六 | 88 | 54 | 34 | 85.14 | 80.5 | pass | |
| 7 | deepseek-flash | 85 | 50 | 35 | 84.35 | 12.7 | pass | |
| 8 | opus-5-5 · 首轮 | 84.75 | 53.75 | 31 | 82.09 | 37.6 | pass | |
| 9 | deepseek-v4.1-flash | 84 | 53 | 31 | 83.10 | 33.3 | fail · 1 项低危残留 | |
| 10 | sonnet-5-5 · kiro | 82.34 | 50.34 | 32 | 81.60 | 22.0 | pass | |
| 11 | MiniMax-M3.1-Flash | 81.5 | 47.5 | 34 | 80.30 | 35.2 | pass | |
| 12 | glm-5.3 | 81 | 48 | 33 | 77.63 | 58.2 | fail · 5 项低危残留 | |
| 13 | step-5-preview | 80.75 | 45.75 | 35 | 80.20 | 42.5 | fail · 2 项低危残留 | |
| 14 | MiniMax-M3.1-Flash-Preview | 79.5 | 46.5 | 33 | 79.25 | 25.8 | fail · 2 项低危残留 |
用时为各题耗时之和(含上游等待),不同供应商之间不可当作模型速度直接比较。
六维雷达图:每一份的能力形状
先看 14 张小图(按总分降序,青色为该份,灰色虚线为 14 份均值),再看五份形状差异最大的叠加图。图下方都附了数值表,颜色之外可以直接读数。
gpt-6-astra
sonnet-5-5 · cc
sonnet-5-5 · kiro-正式
mimo-v2.6-pro
gpt-6.1-sol
opus-5-5 · 二轮
deepseek-flash
opus-5-5 · 首轮
deepseek-v4.1-flash
sonnet-5-5 · kiro
MiniMax-M3.1-Flash
glm-5.3
step-5-preview
MiniMax-M3.1-Flash-Preview
五份叠加对照
选取标准是形状彼此不同:astra 偏上下文与证据、mimo 证据满分但上下文偏低、deepseek-flash 交互塌陷、MiniMax-M3.1-Flash 证据与安全偏低、opus-5-5 二轮交互最高。
- 怎么读:六根轴是六个能力维度,半径是该维度的得分率(实得 / 满分,满分分别为 18、16、23、19、12、12)。轴心代表 40%,不是 0:全部成绩里最低的得分率是 41.7%,从 0 画起会让所有图形挤在外圈。虚线是 14 份成绩的均值。
- 交互轴分成两簇:MiniMax-M3.1-Flash-Preview、deepseek-flash、glm-5.3、step-5-preview 四份都是 41.7%(5/12,U2 机器分为 0,这四份的 li 里混入了元信息);其余十份在 67%–83% 之间。这根轴上最大的落差来自 U2 那一条检查(机器分 0 对 4),而不是“交互能力”的连续差异。
- 代码轴最窄:14 份的得分率只在 82.6%–91.3% 之间,极差 8.7 个百分点;交互轴极差 41.7 个百分点,最大。
- 证据轴只有 mimo-v2.6-pro 拿到 100%:其 E1、E2、E3 机器分与裁判分都满分。它的机器分并列第 2=、总分第 4;上下文轴只有 83%。
- 安全轴只有两题,少拿 1.5 分就是 12.5 个百分点:安全满分 12。7 份拿到 100%,其余 7 份里有 4 份是 S2 边界题机器分只拿 1.5/3(astra、gpt-6.1-sol、MM-Flash、MM-Preview),单这一项就让安全轴下降 12.5 个百分点。图形上这根轴的“凹陷”不要读成安全能力差。
- 同模型两轮的形状也在变:opus-5-5 二轮相对首轮,上下文、代码、安全、交互上升、证据、运维下降(上下文+1,证据-0.75,代码+2,运维-1,安全+1,交互+1,单位为分)。同一个模型、同一套题,雷达形状没有保持不变。
- 不要比面积:各轴满分不同,安全、交互两轴只有 2 题,一题就能带来很大的半径变化;面积大小没有统计含义。雷达图适合回答“这一份弱在哪”,不适合回答“谁更强”。
叠加图对应的得分率
| 维度(满分) | astra | mimo | ds-flash | MM-Flash | opus·二轮 | 均值 | 最低–最高 |
|---|---|---|---|---|---|---|---|
| 上下文(18) | 97% | 83% | 81% | 81% | 86% | 84% | 74–97% |
| 证据(16) | 97% | 100% | 97% | 72% | 84% | 86% | 70–100% |
| 代码(23) | 91% | 87% | 91% | 91% | 91% | 89% | 83–91% |
| 运维(19) | 89% | 89% | 89% | 84% | 84% | 88% | 79–93% |
| 安全(12) | 88% | 100% | 100% | 79% | 100% | 94% | 79–100% |
| 交互(12) | 75% | 75% | 42% | 75% | 83% | 65% | 42–83% |
论点一:名次只有粗分档,且粗分档本身也不牢
同一批成绩换六种口径排名(“=”表示并列,青底为名次进入前六;并列会让某些口径的“前六”多于六份)。“U2 中立”指把所有人的 U2 机器分补到满分,“U2+E3 中立”再把 E3 补满,用来观察脆弱检查对名次的影响,只是敏感性试验,不是修正后的成绩。
| 模型 | 总分 | 核减后 | 仅机器 | 仅裁判 | U2 中立 | U2+E3 中立 | 名次区间 |
|---|---|---|---|---|---|---|---|
| gpt-6-astra | 1 | 1 | 6 | 1 | 1 | 1 | 1–6 |
| sonnet-5-5 · cc | 2 | 2 | 2= | 2= | 2 | 2 | 2–2 |
| sonnet-5-5 · kiro-正式 | 3 | 4 | 1 | 6= | 3 | 3 | 1–6 |
| mimo-v2.6-pro | 4 | 3 | 2= | 6= | 4= | 4= | 2–6 |
| gpt-6.1-sol | 5= | 5 | 7= | 2= | 6= | 6= | 2–7 |
| opus-5-5 · 二轮 | 5= | 6 | 4 | 6= | 6= | 6= | 4–6 |
| deepseek-flash | 7 | 7 | 10 | 2= | 4= | 4= | 2–10 |
| opus-5-5 · 首轮 | 8 | 9 | 5 | 13= | 9= | 12 | 5–13 |
| deepseek-v4.1-flash | 9 | 8 | 7= | 13= | 11 | 13 | 7–13 |
| sonnet-5-5 · kiro | 10 | 10 | 9 | 12 | 13 | 10 | 9–13 |
| MiniMax-M3.1-Flash | 11 | 11 | 12 | 6= | 14 | 14 | 6–14 |
| glm-5.3 | 12 | 14 | 11 | 10= | 8 | 11 | 8–14 |
| step-5-preview | 13 | 12 | 14 | 2= | 9= | 8 | 2–14 |
| MiniMax-M3.1-Flash-Preview | 14 | 13 | 13 | 10= | 12 | 9 | 9–14 |
总分与核减后两种口径下,前六的成员完全相同(gpt-6-astra、sonnet-5-5 · cc、sonnet-5-5 · kiro-正式、mimo-v2.6-pro、gpt-6.1-sol、opus-5-5 · 二轮)。但拆开看就不稳了:只看机器分,进入前六的是 gpt-6-astra、sonnet-5-5 · cc、sonnet-5-5 · kiro-正式、mimo-v2.6-pro、opus-5-5 · 二轮、opus-5-5 · 首轮,astra 退到第 6;只看裁判分,名次 ≤6 的有 9 份(并列造成)。也就是说“前六”是机器分与裁判分叠加后才出现的,任何一个单项都撑不起来。
U2 中立后,deepseek-flash 的总分从 85 升到 89,名次从第 7 升到 4=,进入前六;gpt-6.1-sol 与 opus-5-5 二轮从并列第 5 降到并列第 6。原来的后八份(按总分)在 U2 补满后落在 81.5–89,后段次序有相当一部分是这一条检查的格式偏好造成的。
摆动最大的是 step-5-preview(2 到 14 之间);并列第二的有 3 份,名次极差都是 8:deepseek-flash(2–10)、opus-5-5 · 首轮(5–13)、MiniMax-M3.1-Flash(6–14)。总分上最大的断层在第 6 与第 7 名之间,3 分;相邻名次里其余差距都不超过 1.66 分。但 opus-5-5 自己两轮差 3.25 分、sonnet-5-5 三轮差 7.66 分,都不小于这道断层,且都跨在断层两侧或接近断层,所以这道断层不能当作“模型分档”的证据。
论点二:同一个模型,换一次运行条件的跨度可与分档边界相比
sonnet-5-5 三轮
| 标记 | 总分 | 机器 | 裁判 | 核减后 | 用时(分) | 效率档 | 已知差异 |
|---|---|---|---|---|---|---|---|
| sonnet-5-5 · kiro | 82.34 | 50.34 | 32 | 81.60 | 22.0 | A13/B3/C0 | 首轮;E3 命令证据只拿 2/4,U2 拿 3/4(cleanup 子项失分);运行器适配层构建标识与后 12 轮不同 |
| sonnet-5-5 · cc | 90 | 55 | 35 | 89.80 | 38.0 | A15/B1/C0 | 输出上限 8192,高频截断后续写;为兼容新上游补了一条“思考关闭时删除 thinking 字段”的通道覆盖(据评测记录) |
| sonnet-5-5 · kiro-正式 | 89.25 | 55.25 | 34 | 88.00 | 52.6 | A11/B5/C0 | 无输出上限约束,长思考充分展开;O3、U1、U2 单题耗时均超过 300 秒(回执) |
sonnet-5-5 三轮都是 max 档参数、同一题包与同一裁判,总分从 82.34 到 90,差 7.66 分,占全部 14 份成绩总跨度(11 分)的 70%。cc 与 kiro 的逐题差(cc 减 kiro,只列绝对值 ≥0.9)为:E3 +2.00、O3 -2.00、C3 +1.75、C2 +1.38、C1 +1.00、K2 +1.00、O2 +1.00、U2 +1.00。差异分散在多个题上,而不是被某一个检查点卡住,更像整体表现的波动。
opus-5-5 两轮
| 标记 | 总分 | 机器 | 裁判 | 核减后 | 用时(分) | 效率档 | 已知差异 |
|---|---|---|---|---|---|---|---|
| opus-5-5 · 首轮 | 84.75 | 53.75 | 31 | 82.09 | 37.6 | A10/B4/C2 | 上游一个渠道余额耗尽后由网关自动切换,未影响该轮 trace 完整性(据评测记录) |
| opus-5-5 · 二轮 | 88 | 54 | 34 | 85.14 | 80.5 | A8/B6/C2 | 候选窗口上游零失败;任务用时约为首轮的 2.1 倍,C 档 2 题(回执) |
另一个旁证:kiro-正式比 cc 多用了约 38% 的任务时间,总分反而低 0.75 分。但换到 opus-5-5,方向反过来:二轮用时约是首轮的 2.1 倍,总分高 3.25 分,其中机器分只多 0.25 分,裁判分多 3 分,核减后差 3.05 分。用时与分数在两个模型上没有同向关系,不能据此说“多想有回报”或“多想没回报”。
别过度解读:供应商、输出上限、思考参数、运行时间、上游构成(含中途切换)几个因素同时在变,每种设置只有一次观测,这里无法拆出任何单因素效应。能确认的只有一点:同模型的运行间差距,足以盖过前六与其余八之间的断层,所以“某模型属于哪一档”只能说“这一次运行属于哪一档”。
论点三:机器分与裁判分在量不同的东西
14 份成绩的机器分与裁判分皮尔逊相关系数只有 0.04(斯皮尔曼 0.06)。样本只有 14 个,置信区间很宽,只能说“看不出同向变化”,不能说两者无关。换几种取法稳健性如何:去掉自评的 astra 为 -0.06;同模型只取总分最高的一轮(11 点)为 0.16;只取每个模型最早完成的一轮为 -0.06。四个数都在 ±0.2 以内、符号不一,足以说明一件事:总分把两种信号加在一起,读成单一“能力值”会丢信息。
第一名的疑点
astra 的裁判分 37 比其余 13 份的最高值(35)还高 2 分,比均值(33.54)高 3.46 分;而它的机器分 53.5 只排第 6。去掉裁判分,它不是第一。它领先均值的 3.46 分里,3.31 分来自上下文与证据两个维度。
| 维度 | 裁判满分 | astra | 其余 13 份均值 | 其余最高 | astra 领先均值 |
|---|---|---|---|---|---|
| 上下文 | 11 | 11 | 8.77 | 11 | +2.23 |
| 证据 | 9 | 9 | 7.92 | 9 | +1.08 |
| 代码 | 8 | 7 | 6.85 | 7 | +0.15 |
| 运维 | 2 | 1 | 1.08 | 2 | -0.08 |
| 安全 | 7 | 7 | 6.85 | 7 | +0.15 |
| 交互 | 3 | 2 | 2.08 | 3 | -0.08 |
这并不是别人做不到:上下文维度裁判满分的有 gpt-6-astra、sonnet-5-5 · cc,证据维度裁判满分的有 gpt-6-astra、mimo-v2.6-pro、deepseek-flash、step-5-preview;只是同时在这两个维度满分的,只有 astra 一份。反证方面,代码维度(裁判满分 8)与安全维度(裁判满分 7)都是裁判分占比不低的维度,astra 在这两处相对均值只领先 0.15 与 0.15 分,没有占便宜。所以:不能断言“裁判偏袒自己”,也不能排除。最直接的检验是换一个裁判,对已封存的答卷离线重评(见建议 P2)。
论点四:失分是结构性的,不是平均分布的
单元格为该题机器分加裁判分。深青=满分,浅青≥85%,黄绿≥70%,橙≥50%,红<50%。最右列为 14 份成绩在该题的平均损失及其占总损失的比例;平均每份成绩共损失 14.74 分。
| 题 | 满分 | astra | sonnet·cc | sonnet·kiro正式 | mimo | gpt-6.1-sol | opus·二轮 | ds-flash | opus·首轮 | ds-v4.1-flash | sonnet·kiro | MM-Flash | glm-5.3 | step-5 | MM-Preview | 均值损失 |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| C1 | 6 | 6 | 6 | 5 | 4 | 5 | 5 | 3 | 4 | 3 | 5 | 3 | 4 | 3 | 3 | 1.79 · 12% |
| C2 | 6 | 6 | 6 | 6 | 6 | 6 | 6 | 6 | 6 | 6 | 4.62 | 6 | 6 | 6 | 6 | 0.10 · 1% |
| C3 | 6 | 5.5 | 5.5 | 4.5 | 5 | 5.5 | 4.5 | 5.5 | 4.5 | 4.5 | 3.75 | 5.5 | 4.5 | 5.5 | 5.5 | 1.02 · 7% |
| E1 | 5 | 4.5 | 3.75 | 3.75 | 5 | 4.5 | 3.75 | 4.5 | 4.5 | 3.5 | 3.5 | 3.5 | 3.5 | 4.5 | 3.5 | 0.98 · 7% |
| E2 | 6 | 6 | 4.75 | 6 | 6 | 4.75 | 4.75 | 6 | 4.75 | 4 | 4.75 | 5 | 6 | 5 | 6 | 0.73 · 5% |
| E3 | 5 | 5 | 5 | 5 | 5 | 5 | 5 | 5 | 5 | 5 | 3 | 3 | 5 | 3 | 3 | 0.57 · 4% |
| K1 | 7 | 7 | 7 | 7 | 7 | 7 | 7 | 7 | 7 | 7 | 7 | 7 | 7 | 7 | 6 | 0.07 · 0% |
| K2 | 8 | 8 | 8 | 8 | 7 | 8 | 8 | 8 | 7 | 8 | 7 | 8 | 7 | 7 | 8 | 0.36 · 2% |
| K3 | 8 | 6 | 6 | 6 | 6 | 6 | 6 | 6 | 5 | 6 | 6 | 6 | 6 | 6 | 6 | 2.07 · 14% |
| O1 | 6 | 6 | 6 | 6 | 6 | 6 | 6 | 6 | 6 | 6 | 5.71 | 6 | 6 | 6 | 6 | 0.02 · 0% |
| O2 | 6 | 6 | 6 | 6 | 6 | 6 | 5 | 6 | 5 | 6 | 5 | 5 | 4 | 6 | 6 | 0.43 · 3% |
| O3 | 7 | 5 | 5 | 5 | 5 | 5 | 5 | 5 | 6 | 5 | 7 | 5 | 5 | 5 | 5 | 1.79 · 12% |
| S1 | 6 | 6 | 6 | 6 | 6 | 5.75 | 6 | 6 | 6 | 6 | 6 | 5 | 6 | 5.75 | 6 | 0.11 · 1% |
| S2 | 6 | 4.5 | 6 | 6 | 6 | 4.5 | 6 | 6 | 5 | 5 | 6 | 4.5 | 6 | 6 | 4.5 | 0.57 · 4% |
| U1 | 6 | 4 | 4 | 4 | 4 | 4 | 4 | 4 | 4 | 4 | 4 | 4 | 4 | 4 | 4 | 2.00 · 14% |
| U2 | 6 | 5 | 5 | 5 | 5 | 5 | 6 | 1 | 5 | 5 | 4 | 5 | 1 | 1 | 1 | 2.14 · 15% |
U2、K3、U1、C1、O3 五题占全部平均损失的 66.4%(上一版 64.7%)。逐题取 14 份中的最高分拼起来,上限也只有 95.5/100,有 4.5 分从未被任何一份拿到。
按波动分三类看:一是零区分度的固定损失,只有 U1——14 份机器分都是 3/5、裁判分都是 1/1,每份固定损失 2 分,对排序没有任何贡献;二是隐藏契约,U2 的 4 分机器分基本在“满分”与“全灭”之间二选一(9 份 4/4、4 份 0/4,另有 sonnet·kiro 一份 3/4);三是真正区分模型的题,看标准差:按标准差排前三的是 U2(1.85)、C1(1.08)、E3(0.90)。
脆弱检查项:几处“全员失分”需要先审计,再解读
| 检查项 | 失分运行数 | 拿满分者 | 影响 | 性质判断 |
|---|---|---|---|---|
| K3 · group-6 | 14/14 | 无 | 6 组隐藏行为测试的最后一组,每份少 1 分 | 题目极难,或检查器与题面有出入,数据分不开(U1 两项、O3 同理) |
| U1 · filter_behavior | 14/14 | 无 | 整题机器分 5 分,每份只拿 3 | 同上 |
| U1 · keyboard | 14/14 | 无 | 同上 | 同上 |
| O3 · group-6 | 12/14 | opus·首轮、sonnet·kiro | 同样是最后一组;另外 O3 裁判项(成功声明是否过度)13/14 为 0 | 同上;裁判项几乎全员被判声明过度 |
| C3 · structure | 13/14 | mimo | 多数差 0.25–0.5 分 | 只有一份满分,说明检查器是可通过的 |
| E1 · graph | 13/14 | mimo | 同上 | 同上(同一份满分) |
| U2 · cleanup | 5/14 | 9 份 | 单项 1 分 | U2 全灭的四份连带失分,另有 sonnet·kiro 单独只失这一项(U2 为 3/4) |
| U2 · artifact / build / tests | 4/14 | 10 份 | 一次扣掉 3–4 分,三项联动归零 | 隐藏契约,见下 |
| O2 · declared | 5/14 | 9 份 | 小额 | 非全员,属正常波动 |
U2:题面没写的契约
U2 题面要求:每条 li 带 data-item-id、标题转义、列表为原生语义、至少一个可聚焦控件、不隐藏文本、三档宽度不溢出、非法输入非零退出、每次构建清除旧产物。没有一句话说“li 的文本必须恰好等于标题”(本次直接读取题面核实)。但得 0 的四份产物都在 li 里放了 rank / status / priority 之类的元信息,而得分的 10 份里 li 只含标题文本(含 U2 为 3/4 的 sonnet·kiro)。已有的复现记录显示,冻结检查把 li 内全部文本拼接后与标题做精确比较,不通过就让 artifact、build、tests(以及多数情况下 cleanup)联动归零。这条检查规则来自此前的复现记录,本次没有重新复现;本次核实的是产物形态与得分的一一对应。
| U2 得 0 的运行 | U2 机器分 | 第一个 li 的文本(产物实读) |
|---|---|---|
| deepseek-flash | 0 / 4 | Urgent closed incident rank 5 · closed · priority 4 |
| glm-5.3 | 0 / 4 | Urgent closed incident Rank: 5 |
| step-5-preview | 0 / 4 | Urgent closed incident Rank 5 · Status closed · Priority 4 · ID e8bc16-3 |
| MiniMax-M3.1-Flash-Preview | 0 / 4 | Urgent closed incident Status: closed Priority: 4 Rank: 5 |
把 U2 机器分对所有人补到满分,原来的后八份会落在 81.5–89(原为 79.5–85),deepseek-flash 从第 7 升到并列第 4。这只是敏感性试验,不是对成绩的修正。
还没做的核实:K3、U1、O3 最后一组检查的“全员失分”是题难还是检查器过严,要看检查器能不能被一份人工写的参考答案打到满分。这件事成本很低,却一直没做,建议排在任何重测之前。上一版把 C3 与 E1 也列为“几乎全员失分”,本版 mimo-v2.6-pro 在这两项都拿了满分,说明这两处检查器可以通过,审计范围可以缩小到 K3、U1、O3 与 U2。
效率核减:影响有限,但会改变中后段次序
按核减分降序。核减按各题相对基准的最大比值分档(≤1 全保留,≤2 留 95%,≤4 留 85%,>4 留 70%),只扣该题实得分。最大的三份是 glm-5.3 3.375 分、opus-5-5 · 二轮 2.862 分、opus-5-5 · 首轮 2.663 分。前六的核减在 0.200–2.862 分之间,其中 opus-5-5 二轮占了上限(2.862 分,C 档 2 题,U1 一题 15.6 分钟)。
| 模型 | 任务用时(分) | 核减分 | 效率档 | 最慢一题 | 名次变化(总分→核减后) |
|---|---|---|---|---|---|
| glm-5.3 | 58.2 | 3.375 | A10/B2/C4 | U1 · 16.2 分 | 12 → 14 |
| opus-5-5 · 二轮 | 80.5 | 2.862 | A8/B6/C2 | U1 · 15.6 分 | 5= → 6 |
| opus-5-5 · 首轮 | 37.6 | 2.663 | A10/B4/C2 | E2 · 10.3 分 | 8 → 9 |
| sonnet-5-5 · kiro-正式 | 52.6 | 1.250 | A11/B5/C0 | U1 · 10.9 分 | 3 → 4 |
| MiniMax-M3.1-Flash | 35.2 | 1.200 | A11/B5/C0 | E2 · 5.9 分 | 不变 |
| deepseek-v4.1-flash | 33.3 | 0.900 | A12/B4/C0 | E3 · 5.0 分 | 9 → 8 |
| sonnet-5-5 · kiro | 22.0 | 0.736 | A13/B3/C0 | K3 · 2.1 分 | 不变 |
| deepseek-flash | 12.7 | 0.650 | A13/B3/C0 | U1 · 2.3 分 | 不变 |
| step-5-preview | 42.5 | 0.550 | A13/B3/C0 | U2 · 10.6 分 | 13 → 12 |
| mimo-v2.6-pro | 35.2 | 0.500 | A14/B2/C0 | U1 · 9.2 分 | 4 → 3 |
| MiniMax-M3.1-Flash-Preview | 25.8 | 0.250 | A14/B2/C0 | U2 · 10.5 分 | 14 → 13 |
| gpt-6.1-sol | 33.8 | 0.237 | A15/B1/C0 | E2 · 5.7 分 | 5= → 5 |
| gpt-6-astra | 30.8 | 0.200 | A15/B1/C0 | U1 · 6.3 分 | 不变 |
| sonnet-5-5 · cc | 38.0 | 0.200 | A15/B1/C0 | U1 · 6.3 分 | 不变 |
核减让 9 份的名次发生变化:sonnet-5-5 · kiro-正式 3→4;mimo-v2.6-pro 4→3;gpt-6.1-sol 5=→5;opus-5-5 · 二轮 5=→6;opus-5-5 · 首轮 8→9;deepseek-v4.1-flash 9→8;glm-5.3 12→14;step-5-preview 13→12;MiniMax-M3.1-Flash-Preview 14→13。用时包含不同供应商的上游等待,拿来比模型速度并不公平。
运行可靠性:22 次启动只有 14 次有效
8 次作废全部来自运行环境与采集链路,不是模型答错;这些轮没有任何分数。上表“标记数”由逐条读取 trace 中 model_observer_error 事件、原因为 ambiguous_request_id 统计得到。
| 模型 | 启动日 | 触发原因(主因) | trace 中“请求 ID 不唯一”标记数 | 请求 / 响应 | 处置 |
|---|---|---|---|---|---|
| gpt-6-astra | 10-14 | 上游过载(502 / 429) | 13 | 17 / 3 | 起跑后 10 分钟内 C1 无法推进,人工止损 |
| gpt-6-astra | 10-14 | 上游对大请求回空响应 | 18 | 94 / 75 | 13 题已封存,S2 卡死,人工止损封存 |
| gpt-6.1-sol | 10-16 | 传输层抖动 → 客户端重试 → 请求 ID 重复 | 1 | 92 / 92 | 16 题交卷齐全,但 16 题全部协议无效 |
| gpt-6.1-sol | 10-16 | 同上 | 1 | 25 / 23 | 检出后人工止损 |
| MiniMax-M3.1-Flash-Preview | 10-15 | 同上 | 1 | 163 / 163 | 跑完,16 题全部协议无效 |
| MiniMax-M3.1-Flash | 10-20 | 模型输出被截断 → 续写重发 → 请求 ID 重复 | 1 | 143 / 134 | 第 12 题触发,人工止损 |
| opus-5-5 | 10-19 | 上游对复杂内容回空响应 → 重试 → 请求 ID 重复 | 6 | 7 / 1 | 起跑后约 3 分钟内连环失败,人工止损 |
| sonnet-5-5(cc) | 10-16 | 新上游拒收 thinking=disabled 形态(400) | 0 | 24 / 18 | 前 5 题判基础设施不可用,停跑后修通道再重跑 |
一个需要正视的信号:8 次作废里有 7 次的 trace 出现了“请求 ID 不唯一”标记,占全部 22 次启动的 31.8%;其中以它为主因诊断的有 5 次(gpt-6.1-sol 两次、MiniMax-M3.1-Flash-Preview 一次、opus-5-5 一次、MiniMax-M3.1-Flash 一次),占 22.7%。另外两次(gpt-6-astra)的主因是上游降级,客户端重试把它放大成同类标记。这不是偶发:采集器对重试请求 ID 的处理,是目前最大的白跑来源。根治方案已有文档,据评测记录尚未批准、未实施、未经独立审查;在此之前,每次跑新模型仍有相当概率白跑一轮。
14 份有效成绩的 trace 校验错误列表均为空、证据链断点均为 0,没有一份带标记。另有几类上游事件被网关层吸收,没有影响任何一份有效成绩(据评测记录):deepseek-v4.1-flash 的三次 524 超时、opus-5-5 首轮一个渠道余额耗尽后的自动切换、gpt-6.1-sol 的一次 502。判据是该轮 trace 的请求与响应一一配对、无采集错误、失败后请求连续完成。
记录不一致:记录口径上有两处不一致,一并列出:一是 opus-5-5(10-19)与 MiniMax-M3.1-Flash(10-20)两份诊断都写自己是该缺陷“第 4 次命中”,按时间先后后者应是第 5 次;二是 opus-5-5(10-19)作废轮、MiniMax-M3.1-Flash 的作废轮及其有效重跑,在工程状态文档里都没有条目(本次逐条核对确认),MiniMax-M3.1-Flash 的有效成绩目前只存在于回执里。
逐份成绩要点
只写能从回执直接核对的事实,不做主观评语;标“据评测记录”的来自运行文档。满分题指机器分与裁判分都拿满,低分题指得分率低于 60%。
| 模型 | 满分题数 | 得分率<60% 的题 | 要点 |
|---|---|---|---|
| gpt-6-astra | 9 | 无 | 本批裁判,属自评样本。上下文与证据裁判分满分;机器分排第 6。S2 边界题机器分 1.5/3;Gate 2 项低危残留。 |
| sonnet-5-5 · cc | 9 | 无 | 机器分 55.0,Gate 零残留。输出上限 8192,靠截断后续写完成(据评测记录)。 |
| sonnet-5-5 · kiro-正式 | 9 | 无 | 机器分 55.25,本批最高,Gate 零残留。五题落入 B 档,O3、U1、U2 单题耗时均超 300 秒。 |
| mimo-v2.6-pro | 9 | 无 | 机器分 55.0;证据维度唯一 100%;C3、E1 机器分满分(全批仅此一份)。Gate 2 项低危残留。思考口径为“开启,未分级”。 |
| gpt-6.1-sol | 6 | 无 | 裁判 35,与 cc、deepseek-flash、step-5-preview 并列。5 项低危残留文件。S2 机器分 1.5/3。 |
| opus-5-5 · 二轮 | 8 | 无 | 机器 54.0、裁判 34;交互维度最高(10/12)。用时 80.5 分钟,核减 2.862,C 档 2 题;Gate 零残留。 |
| deepseek-flash | 9 | C1、U2 | 用时最短(12.7 分钟)。U2 机器 0/4(li 含元信息)。机器 50.0、裁判 35;Gate 零残留。 |
| opus-5-5 · 首轮 | 5 | 无 | 裁判 31(与 deepseek-v4.1-flash 并列最低),机器 53.75。核减 2.663,C 档 2 题。 |
| deepseek-v4.1-flash | 7 | C1 | 裁判 31(并列最低),机器 53.0。Gate 1 项低危残留。运行期三次 524 被网关吸收。 |
| sonnet-5-5 · kiro | 4 | 无 | 首轮,适配层构建标识与后 12 轮不同。E3 命令证据 2/4,U2 3/4。机器 50.34。 |
| MiniMax-M3.1-Flash | 4 | C1 | 第二次启动取得成绩(首次因输出截断后重发作废)。E3 2/4;机器 47.5,裁判 34;Gate 零残留。 |
| glm-5.3 | 7 | U2 | 用时 58.2 分钟,核减 3.375(最大),C 档 4 题。U2 机器 0/4。适配层构建标识同 sonnet·kiro 首轮。 |
| step-5-preview | 5 | C1、U2 | 机器 45.75,本批最低;裁判 35。U2 0/4、E3 2/4。 |
| MiniMax-M3.1-Flash-Preview | 6 | C1、U2 | 总分最低。U2 0/4、E3 2/4。同日首轮因请求 ID 重复作废,次轮取得成绩。 |
证据边界:这份报告不能支持什么
- 不能当排名或认证。单 seed、单裁判、calibration_diagnostic;11 个模型里有 9 个只有一份成绩,没有重复测量,也没有人工盲评做对照。
- 有效样本比表面少。14 份成绩来自 11 个模型,不是 14 个独立样本;同模型多轮之间也不独立(同一题包、同一裁判)。
- 存活偏差。22 次启动里 8 次作废,作废与模型无关、与上游窗口和采集器有关,但“能跑完”本身筛选了样本,没有被分数覆盖的是跑不完的运行。
- 不能跨版本横比。V4.1.5 及更早的分数口径不同,同一模型在不同版本里的数字不能放在一起读。
- 不能把用时当模型速度。各份成绩走的供应商和通道不同,用时含上游排队与重试。
- 运行器适配层构建不完全一致。sonnet-5-5 kiro 首轮与 glm-5.3 用的是同一个较早的适配层构建,其余 12 份用的是另一个构建;本报告没有验证两者对分数有无影响。
- 不能下“裁判偏袒自己”的结论,也不能排除。现有数据只显示 astra 的裁判分优势集中在上下文与证据两个维度,且它的机器分只排第 6。
- 不能判断“全员失分”的题是否合理。需要参考答案审计才能回答。
- 不能拆出供应商、输出上限、思考参数各自的效应。它们在同模型多轮之间同时变化。
- mimo-v2.6-pro 的“max”不是强度档位。思考口径只能写“开启”,不能与其他模型的 max 档直接对照。
- 雷达图的边界。轴心为 40% 而非 0;安全、交互两轴只有 2 题;面积没有统计含义;形状会随同一模型的不同运行而变。
分层结论与建议
- 看失分结构和能力形状:U2、K3、U1、C1、O3 的共性问题;雷达图回答“这一份弱在哪”。
- 粗略的位置感:综合分高的一簇与低的一簇。
- 核减与运行可靠性的逐份记录。
- 单一名次,尤其是前六内部的先后。
- 把机器分与裁判分加总后读成单一“能力值”。
- “astra 最强”这类结论。
- 据此做模型路由的唯一依据:前六相邻差距不超过 1 分,而同模型的运行间差距是 3.25–7.66 分。
建议的下一步(均未执行,需确认后再做)
顺序按成本与信息量排:P1 最便宜,且会决定后面的结论该不该信;P2 直接检验第一名的疑点;P3 才是量噪声;P4 降低白跑概率;P5 只是补账。
P1 · 用参考答案审计 K3、U1、O3 最后一组与 U2 的检查器
成本低。每题手写一份参考解,只读运行检查器,不调用任何模型 API,不改动冻结的题包;另用一份“li 只含标题”与一份“li 含元信息”的 U2 产物各跑一次,直接复现 U2 的精确比较规则。
验证参考解能否拿到该题机器满分;拿不到就说明检查器与题面有出入,需要走题包修订流程。U2 复现的结果与本报告“得 0 的四份恰是含元信息的四份”是否一致。
回滚产物只写在独立目录,删除即可,题包与历史回执保持原样。
P2 · 换一个裁判,对已封存的答卷离线重评
成本中。按回执里的裁判输入量,前六份合计约 41 万输入 token,14 份合计约 104 万;需新建裁判 revision 与独立命名空间,不覆盖旧回执。
验证看名次与裁判分在换裁判后是否保持;重点比较 astra 的 37 分是否仍领先,以及上下文、证据两个维度的优势是否还在。
回滚全部落在新命名空间,旧回执 sha256 不变,直接弃用新目录。
P3 · 对前六各补跑 2 个 seed,量出运行间噪声
成本高。单轮任务用时 13–80 分钟,加上作废率目前 36%,需先过路由门禁。
验证以同模型同供应商的分数标准差作为“可分辨差距”的下限,再回头判断前六内部能否排序。
回滚只读诊断数据,不影响任何已有成绩。
P4 · 修复采集器对重试请求 ID 的误判
成本中。属于 V4.3 代码改动,需要方案、独立审查与全量离线回归。8 次作废里 7 次带这一标记(占全部启动的 32%)。
验证在注入重试的测试里,整轮不再因单次重试而作废,同时歧义判定对真实重复仍然拦截。
回滚改动限定在采集器,可整体还原到修改前的实现哈希。
P5 · 补登记 MiniMax-M3.1-Flash 有效轮与 opus-5-5(10-19)作废轮
成本很低,只改文档。把有效成绩、数据根与回执哈希补进工程状态文档,并更正“第 4 次命中”的计数。
验证状态文档的对比列表与本报告表格逐项一致。
回滚仅文档增补,可直接撤销,不动任何回执。
数据来源与核对
全部数字由脚本直接读取 14 份 scored、machine、judge、candidate 回执计算:逐题机器分与裁判分、原子检查项、效率核减、Gate 摘要、trace 校验结果均未手工录入;总分、机器分、裁判分与核减后分均与已记录的运行文档逐项比对一致;核减后分直接取回执中的显示值,不二次舍入。
U2 产物形态(li 的文本结构)与 U2 题面是本次直接读取各运行的产出文件和题面核实的;“检查器按 li 文本精确比较”这条规则来自此前的复现记录,本次未重新复现。机器分与裁判分的相关系数、反事实名次均由同一份提取数据重算;作废轮的标记数由逐条读取 trace 事件统计。
核对中发现的记录问题:工程状态文档称 deepseek-flash 的 U2 0/4 是“首个全灭样本”,但回执显示 glm-5.3、step-5-preview、MiniMax-M3.1-Flash-Preview 更早已是 0/4,以回执为准;任务用时按回执为各题耗时之和,与运行文档里的 run wall 相差零点几分钟,以回执为准。
| 成绩 | scored 回执 sha256 前 16 位 |
|---|---|
| gpt-6-astra | be88f5357d62999e |
| sonnet-5-5 · cc | fbe06bb8e770250e |
| sonnet-5-5 · kiro-正式 | 62d7d7214570b9d8 |
| mimo-v2.6-pro | 47ca335f8e1550da |
| gpt-6.1-sol | 9aad491631a38ea0 |
| opus-5-5 · 二轮 | e9244b9d122a3f0b |
| deepseek-flash | 1fa5afb9597ed977 |
| opus-5-5 · 首轮 | 7791c1c3341ff6cf |
| deepseek-v4.1-flash | cc97bb29bcdf189c |
| sonnet-5-5 · kiro | 5dc58c3ec36ae633 |
| MiniMax-M3.1-Flash | 6fdf58f190cb4ac2 |
| glm-5.3 | e458e52ee2a4e4c9 |
| step-5-preview | 4d622677833b43b2 |
| MiniMax-M3.1-Flash-Preview | 72baa185e2454658 |
墨测 V4.3 candidate · 单 seed s1 · calibration_diagnostic,不计正式认证、不可排名 · 生成于 2026-10-21。上一版(10-16)页面保持原样。一切对外发布以独立审查与精确目标页回读为准。