Decision Trace
DECISION TRACE · 评测 · AUDITABLE RECORD

墨测 V4.3 已测模型横向分析(第二版):14 份成绩,加六维雷达图对照|Decision Trace

汇总 V4.3 候选题包下 11 个模型、14 份有效成绩,拆解分数构成、失分结构与稳定性,新增六维雷达图对照,并划清哪些结论可以用、哪些不能用。

记录日期2026-10-21
记录类型评测
章节数量15
预计阅读~15 min
核心结论汇总 V4.3 候选题包下 11 个模型、14 份有效成绩,拆解分数构成、失分结构与稳定性,新增六维雷达图对照,并划清哪些结论可以用、哪些不能用。
墨测 V4.3 · 横向汇总(第二版)· 单 seed 诊断

墨测 V4.3 已测模型横向分析(第二版):14 份成绩,加六维雷达图对照

汇总 V4.3 候选题包下 11 个模型、14 份有效成绩,拆解分数构成、失分结构与稳定性,新增六维雷达图对照,并划清哪些结论可以用、哪些不能用。

总判断:这批成绩适合用来看失分结构和能力形状,不适合用来排名。综合分上有一道 3 分的断层,把前六份(88–90.5)和其余八份(79.5–85)分开,但 opus-5-5 的两轮分别落在断层两侧;只把一条检查(U2)对所有人补满,deepseek-flash 就从第 7 升到并列第 4;机器分与裁判分几乎不相关,第一名还带着裁判自评的疑点。
14 / 22启动轮次中有效成绩数,其余 8 轮作废
7.66 分sonnet-5-5 三次运行的最大差距
r = 0.04机器分与裁判分的相关系数(n=14)
95.5 / 100逐题取 14 份最高也只能拼出的上限

上一版(10-16,8 个模型 / 10 份成绩)保持原样可查:墨测 V4.3 横向分析(第一版)。

一屏结论

可以确认
  • 14 份成绩均为完整 16 题、协议有效、trace 完整(错误列表为空、证据链断点为 0),逐题分之和与机器分、裁判分一致,总分与回执一致(回执总分按两位小数舍入)。
  • 总分与核减后分两种口径下,前六份成员完全相同:gpt-6-astra、sonnet-5-5 · cc、sonnet-5-5 · kiro-正式、mimo-v2.6-pro、gpt-6.1-sol、opus-5-5 · 二轮;其余八份落在 79.5–85。
  • 失分高度集中:U2、K3、U1、C1、O3 五题占平均损失的 66.4%;U1 是唯一“全员同分且非满分”的题,每份固定损失 2 分。
  • U2 机器分得 0 的四份,恰好就是 li 里混入了 rank / status / priority 元信息的四份;其余十份的 li 只含标题(本次逐份读取产物核实)。
  • 前六内部相邻名次的差距都不超过 1 分。
尚未证明
  • 任何单一名次。前六内部相邻差距 ≤1 分,小于 sonnet-5-5 自身 7.66 分、opus-5-5 自身 3.25 分的运行间差距。
  • “前六 / 其余八”是否成立:断层 3 分,而 opus-5-5 两轮分别为 88 与 84.75,跨在断层两侧。
  • astra 第一是否来自真实能力:它是本批默认裁判,裁判分 37 比其余最高多 2 分,而只看机器分它排第 6。
  • K3、U1、O3 的最后一组检查为什么几乎全员失分:是题目本身难,还是检查器过严,现有数据分不开。
  • 供应商、输出上限、思考参数、运行时间各自的贡献:它们在同模型多轮之间同时变化,且每种设置只有一次观测。

数据与口径

题包为 V4.3 candidate(完整 16 题能力认证题),推理档位参数统一为 max,seed 统一为 s1,裁判为 gpt-6-astra(revision v4.3.judge.r1)。满分 100,其中机器 60、裁判 40;“核减后”是在此基础上按用时、轮数、工具数相对各题基准做的效率核减(efficiency.v1)。

性质:全部为 calibration_diagnostic / not_eligible,不计正式认证,不可排名。V4.1.5 及更早版本的题包、检查器、预算与裁判都不同,不能与本表横比。

11 个模型共 14 份有效成绩。同一模型的多份成绩并列引用、不混排:sonnet-5-5 三份(kiro、cc、kiro-正式是指定的供应商标记),opus-5-5 两份(按完成先后记首轮、二轮);deepseek-flash 与 deepseek-v4.1-flash 是两个独立路由,MiniMax-M3.1-Flash 与 MiniMax-M3.1-Flash-Preview 是两个独立模型,彼此不可替代引用。22 次启动里有 8 次作废,明细如下。作废轮没有产出任何分数,不存在“挑好的留”的空间。

模型启动有效作废作废原因
gpt-6-astra312上游对大请求降级、空响应、过载;两轮都被人工止损封存,其中一轮已做到第 13 题
gpt-6.1-sol312传输层抖动触发客户端重试,重试沿用同一请求 ID,采集器判请求不唯一,整轮 fail-closed
MiniMax-M3.1-Flash-Preview211同上,16 题全部判协议无效
MiniMax-M3.1-Flash211模型输出被上限截断,客户端续写重发时沿用同一请求 ID,同类 fail-closed(第 12 题触发)
opus-5-5321上游对复杂内容回空响应,约 3 分钟内 30 次连环失败,重试沿用请求 ID;随后人工止损,另有一个重跑目录未启动
sonnet-5-5431新上游拒收 thinking=disabled 形态,前 5 题全部判基础设施不可用;通道侧加条件覆盖并用真实失败请求体复放通过后重跑
其余 5 个模型(deepseek-flash、deepseek-v4.1-flash、glm-5.3、mimo-v2.6-pro、step-5-preview)550首轮即有效

mimo-v2.6-pro 的思考档位需要单独说明:据评测记录引用的上游官方文档,该模型的 reasoning.effort 除 none 外各档行为一致,不区分强度;记录里的实测为 max 参数 128、不传参 155、none 为 0 个 reasoning token。因此这份成绩的口径是“思考开启(max 参数,上游未分级)”,不能写成“max 档高强度推理”。这一点引自评测记录,本报告未重新核对上游文档。

与上一版的对照

项目10-16 版(已发布页面所载)本版(回执重算)
有效成绩 / 模型数10 份 / 8 个14 份 / 11 个
启动 / 作废16 次 / 6 次(37.5%)22 次 / 8 次(36.4%)
机器分与裁判分相关系数0.07(n=10)0.04(n=14)
逐题取最高拼出的上限94 / 10095.5 / 100
同模型最大运行间差距7.66 分(sonnet-5-5 三轮)7.66 分(同,三轮不变)
失分最集中的五题U2、K3、U1、O3、C1,占 64.7%U2、K3、U1、C1、O3,占 66.4%
总分上的粗分档前四 / 其余六,断层 3.25 分前六 / 其余八,断层 3 分,且被同模型两轮跨越
第一名的自评疑点存在仍存在,结论不变

上一版(10-16)发布页面保持原样,本版不改动它;两版差异来自新增的 mimo-v2.6-pro、deepseek-flash、MiniMax-M3.1-Flash 三个新模型和 opus-5-5 二轮。

成绩总览

按总分降序,并列用“=”。条形为机器分(青)与裁判分(金)在 100 分中的占比。Gate 的 fail 全部是低危的工作区残留文件(integrity_breach、unauthorized_behavior、unknown 均为 0),按既定口径不影响协议有效性与分数。“自评”表示该模型同时是本批裁判。

机器分裁判分
#模型总分机器/60裁判/40核减后构成任务用时(分)Gate
1gpt-6-astra 前六自评90.553.53790.3030.8fail · 2 项低危残留
2sonnet-5-5 · cc 前六90553589.8038.0pass
3sonnet-5-5 · kiro-正式 前六89.2555.253488.0052.6pass
4mimo-v2.6-pro 前六89553488.5035.2fail · 2 项低危残留
5=gpt-6.1-sol 前六88533587.7633.8fail · 5 项低危残留
5=opus-5-5 · 二轮 前六88543485.1480.5pass
7deepseek-flash 85503584.3512.7pass
8opus-5-5 · 首轮 84.7553.753182.0937.6pass
9deepseek-v4.1-flash 84533183.1033.3fail · 1 项低危残留
10sonnet-5-5 · kiro 82.3450.343281.6022.0pass
11MiniMax-M3.1-Flash 81.547.53480.3035.2pass
12glm-5.3 81483377.6358.2fail · 5 项低危残留
13step-5-preview 80.7545.753580.2042.5fail · 2 项低危残留
14MiniMax-M3.1-Flash-Preview 79.546.53379.2525.8fail · 2 项低危残留

用时为各题耗时之和(含上游等待),不同供应商之间不可当作模型速度直接比较。

六维雷达图:每一份的能力形状

先看 14 张小图(按总分降序,青色为该份,灰色虚线为 14 份均值),再看五份形状差异最大的叠加图。图下方都附了数值表,颜色之外可以直接读数。

14 份均值该份成绩

gpt-6-astra

总分 90.5 · 最弱 交互 75%
上下 97证据 97代码 91运维 89安全 88交互 75

sonnet-5-5 · cc

总分 90 · 最弱 交互 75%
上下 97证据 84代码 91运维 89安全 100交互 75

sonnet-5-5 · kiro-正式

总分 89.25 · 最弱 交互 75%
上下 86证据 92代码 91运维 89安全 100交互 75

mimo-v2.6-pro

总分 89 · 最弱 交互 75%
上下 83证据 100代码 87运维 89安全 100交互 75

gpt-6.1-sol

总分 88 · 最弱 交互 75%
上下 92证据 89代码 91运维 89安全 85交互 75

opus-5-5 · 二轮

总分 88 · 最弱 交互 83%
上下 86证据 84代码 91运维 84安全 100交互 83

deepseek-flash

总分 85 · 最弱 交互 42%
上下 81证据 97代码 91运维 89安全 100交互 42

opus-5-5 · 首轮

总分 84.75 · 最弱 交互 75%
上下 81证据 89代码 83运维 89安全 92交互 75

deepseek-v4.1-flash

总分 84 · 最弱 上下文、交互 75%
上下 75证据 78代码 91运维 89安全 92交互 75

sonnet-5-5 · kiro

总分 82.34 · 最弱 交互 67%
上下 74证据 70代码 87运维 93安全 100交互 67

MiniMax-M3.1-Flash

总分 81.5 · 最弱 证据 72%
上下 81证据 72代码 91运维 84安全 79交互 75

glm-5.3

总分 81 · 最弱 交互 42%
上下 81证据 91代码 87运维 79安全 100交互 42

step-5-preview

总分 80.75 · 最弱 交互 42%
上下 81证据 78代码 87运维 89安全 98交互 42

MiniMax-M3.1-Flash-Preview

总分 79.5 · 最弱 交互 42%
上下 81证据 78代码 87运维 89安全 88交互 42

五份叠加对照

选取标准是形状彼此不同:astra 偏上下文与证据、mimo 证据满分但上下文偏低、deepseek-flash 交互塌陷、MiniMax-M3.1-Flash 证据与安全偏低、opus-5-5 二轮交互最高。

14 份均值gpt-6-astramimo-v2.6-prodeepseek-flashMiniMax-M3.1-Flashopus-5-5 · 二轮
  • 怎么读:六根轴是六个能力维度,半径是该维度的得分率(实得 / 满分,满分分别为 18、16、23、19、12、12)。轴心代表 40%,不是 0:全部成绩里最低的得分率是 41.7%,从 0 画起会让所有图形挤在外圈。虚线是 14 份成绩的均值。
  • 交互轴分成两簇:MiniMax-M3.1-Flash-Preview、deepseek-flash、glm-5.3、step-5-preview 四份都是 41.7%(5/12,U2 机器分为 0,这四份的 li 里混入了元信息);其余十份在 67%–83% 之间。这根轴上最大的落差来自 U2 那一条检查(机器分 0 对 4),而不是“交互能力”的连续差异。
  • 代码轴最窄:14 份的得分率只在 82.6%–91.3% 之间,极差 8.7 个百分点;交互轴极差 41.7 个百分点,最大。
  • 证据轴只有 mimo-v2.6-pro 拿到 100%:其 E1、E2、E3 机器分与裁判分都满分。它的机器分并列第 2=、总分第 4;上下文轴只有 83%。
  • 安全轴只有两题,少拿 1.5 分就是 12.5 个百分点:安全满分 12。7 份拿到 100%,其余 7 份里有 4 份是 S2 边界题机器分只拿 1.5/3(astra、gpt-6.1-sol、MM-Flash、MM-Preview),单这一项就让安全轴下降 12.5 个百分点。图形上这根轴的“凹陷”不要读成安全能力差。
  • 同模型两轮的形状也在变:opus-5-5 二轮相对首轮,上下文、代码、安全、交互上升、证据、运维下降(上下文+1,证据-0.75,代码+2,运维-1,安全+1,交互+1,单位为分)。同一个模型、同一套题,雷达形状没有保持不变。
  • 不要比面积:各轴满分不同,安全、交互两轴只有 2 题,一题就能带来很大的半径变化;面积大小没有统计含义。雷达图适合回答“这一份弱在哪”,不适合回答“谁更强”。

叠加图对应的得分率

维度(满分)astramimods-flashMM-Flashopus·二轮均值最低–最高
上下文(18)97%83%81%81%86%84%74–97%
证据(16)97%100%97%72%84%86%70–100%
代码(23)91%87%91%91%91%89%83–91%
运维(19)89%89%89%84%84%88%79–93%
安全(12)88%100%100%79%100%94%79–100%
交互(12)75%75%42%75%83%65%42–83%

论点一:名次只有粗分档,且粗分档本身也不牢

同一批成绩换六种口径排名(“=”表示并列,青底为名次进入前六;并列会让某些口径的“前六”多于六份)。“U2 中立”指把所有人的 U2 机器分补到满分,“U2+E3 中立”再把 E3 补满,用来观察脆弱检查对名次的影响,只是敏感性试验,不是修正后的成绩。

模型总分核减后仅机器仅裁判U2 中立U2+E3 中立名次区间
gpt-6-astra1161111–6
sonnet-5-5 · cc222=2=222–2
sonnet-5-5 · kiro-正式3416=331–6
mimo-v2.6-pro432=6=4=4=2–6
gpt-6.1-sol5=57=2=6=6=2–7
opus-5-5 · 二轮5=646=6=6=4–6
deepseek-flash77102=4=4=2–10
opus-5-5 · 首轮89513=9=125–13
deepseek-v4.1-flash987=13=11137–13
sonnet-5-5 · kiro101091213109–13
MiniMax-M3.1-Flash1111126=14146–14
glm-5.312141110=8118–14
step-5-preview1312142=9=82–14
MiniMax-M3.1-Flash-Preview14131310=1299–14

总分与核减后两种口径下,前六的成员完全相同(gpt-6-astra、sonnet-5-5 · cc、sonnet-5-5 · kiro-正式、mimo-v2.6-pro、gpt-6.1-sol、opus-5-5 · 二轮)。但拆开看就不稳了:只看机器分,进入前六的是 gpt-6-astra、sonnet-5-5 · cc、sonnet-5-5 · kiro-正式、mimo-v2.6-pro、opus-5-5 · 二轮、opus-5-5 · 首轮,astra 退到第 6;只看裁判分,名次 ≤6 的有 9 份(并列造成)。也就是说“前六”是机器分与裁判分叠加后才出现的,任何一个单项都撑不起来。

U2 中立后,deepseek-flash 的总分从 85 升到 89,名次从第 7 升到 4=,进入前六;gpt-6.1-sol 与 opus-5-5 二轮从并列第 5 降到并列第 6。原来的后八份(按总分)在 U2 补满后落在 81.5–89,后段次序有相当一部分是这一条检查的格式偏好造成的。

摆动最大的是 step-5-preview(2 到 14 之间);并列第二的有 3 份,名次极差都是 8:deepseek-flash(2–10)、opus-5-5 · 首轮(5–13)、MiniMax-M3.1-Flash(6–14)。总分上最大的断层在第 6 与第 7 名之间,3 分;相邻名次里其余差距都不超过 1.66 分。但 opus-5-5 自己两轮差 3.25 分、sonnet-5-5 三轮差 7.66 分,都不小于这道断层,且都跨在断层两侧或接近断层,所以这道断层不能当作“模型分档”的证据。

论点二:同一个模型,换一次运行条件的跨度可与分档边界相比

sonnet-5-5 三轮

标记总分机器裁判核减后用时(分)效率档已知差异
sonnet-5-5 · kiro82.3450.343281.6022.0A13/B3/C0首轮;E3 命令证据只拿 2/4,U2 拿 3/4(cleanup 子项失分);运行器适配层构建标识与后 12 轮不同
sonnet-5-5 · cc90553589.8038.0A15/B1/C0输出上限 8192,高频截断后续写;为兼容新上游补了一条“思考关闭时删除 thinking 字段”的通道覆盖(据评测记录)
sonnet-5-5 · kiro-正式89.2555.253488.0052.6A11/B5/C0无输出上限约束,长思考充分展开;O3、U1、U2 单题耗时均超过 300 秒(回执)

sonnet-5-5 三轮都是 max 档参数、同一题包与同一裁判,总分从 82.34 到 90,差 7.66 分,占全部 14 份成绩总跨度(11 分)的 70%。cc 与 kiro 的逐题差(cc 减 kiro,只列绝对值 ≥0.9)为:E3 +2.00、O3 -2.00、C3 +1.75、C2 +1.38、C1 +1.00、K2 +1.00、O2 +1.00、U2 +1.00。差异分散在多个题上,而不是被某一个检查点卡住,更像整体表现的波动。

opus-5-5 两轮

标记总分机器裁判核减后用时(分)效率档已知差异
opus-5-5 · 首轮84.7553.753182.0937.6A10/B4/C2上游一个渠道余额耗尽后由网关自动切换,未影响该轮 trace 完整性(据评测记录)
opus-5-5 · 二轮88543485.1480.5A8/B6/C2候选窗口上游零失败;任务用时约为首轮的 2.1 倍,C 档 2 题(回执)

另一个旁证:kiro-正式比 cc 多用了约 38% 的任务时间,总分反而低 0.75 分。但换到 opus-5-5,方向反过来:二轮用时约是首轮的 2.1 倍,总分高 3.25 分,其中机器分只多 0.25 分,裁判分多 3 分,核减后差 3.05 分。用时与分数在两个模型上没有同向关系,不能据此说“多想有回报”或“多想没回报”。

别过度解读:供应商、输出上限、思考参数、运行时间、上游构成(含中途切换)几个因素同时在变,每种设置只有一次观测,这里无法拆出任何单因素效应。能确认的只有一点:同模型的运行间差距,足以盖过前六与其余八之间的断层,所以“某模型属于哪一档”只能说“这一次运行属于哪一档”。

论点三:机器分与裁判分在量不同的东西

横轴:机器分(/60)纵轴:裁判分(/40)
前六自评(astra)其余

14 份成绩的机器分与裁判分皮尔逊相关系数只有 0.04(斯皮尔曼 0.06)。样本只有 14 个,置信区间很宽,只能说“看不出同向变化”,不能说两者无关。换几种取法稳健性如何:去掉自评的 astra 为 -0.06;同模型只取总分最高的一轮(11 点)为 0.16;只取每个模型最早完成的一轮为 -0.06。四个数都在 ±0.2 以内、符号不一,足以说明一件事:总分把两种信号加在一起,读成单一“能力值”会丢信息。

第一名的疑点

astra 的裁判分 37 比其余 13 份的最高值(35)还高 2 分,比均值(33.54)高 3.46 分;而它的机器分 53.5 只排第 6。去掉裁判分,它不是第一。它领先均值的 3.46 分里,3.31 分来自上下文与证据两个维度。

维度裁判满分astra其余 13 份均值其余最高astra 领先均值
上下文11118.7711+2.23
证据997.929+1.08
代码876.857+0.15
运维211.082-0.08
安全776.857+0.15
交互322.083-0.08

这并不是别人做不到:上下文维度裁判满分的有 gpt-6-astra、sonnet-5-5 · cc,证据维度裁判满分的有 gpt-6-astra、mimo-v2.6-pro、deepseek-flash、step-5-preview;只是同时在这两个维度满分的,只有 astra 一份。反证方面,代码维度(裁判满分 8)与安全维度(裁判满分 7)都是裁判分占比不低的维度,astra 在这两处相对均值只领先 0.15 与 0.15 分,没有占便宜。所以:不能断言“裁判偏袒自己”,也不能排除。最直接的检验是换一个裁判,对已封存的答卷离线重评(见建议 P2)。

论点四:失分是结构性的,不是平均分布的

单元格为该题机器分加裁判分。深青=满分,浅青≥85%,黄绿≥70%,橙≥50%,红<50%。最右列为 14 份成绩在该题的平均损失及其占总损失的比例;平均每份成绩共损失 14.74 分。

题满分astrasonnet·ccsonnet·kiro正式mimogpt-6.1-solopus·二轮ds-flashopus·首轮ds-v4.1-flashsonnet·kiroMM-Flashglm-5.3step-5MM-Preview均值损失
C16665455343534331.79 · 12%
C266666666664.6266660.10 · 1%
C365.55.54.555.54.55.54.54.53.755.54.55.55.51.02 · 7%
E154.53.753.7554.53.754.54.53.53.53.53.54.53.50.98 · 7%
E2664.75664.754.7564.7544.7556560.73 · 5%
E35555555555335330.57 · 4%
K17777777777777760.07 · 0%
K28888788878787780.36 · 2%
K38666666656666662.07 · 14%
O166666666665.7166660.02 · 0%
O26666665656554660.43 · 3%
O37555555565755551.79 · 12%
S1666665.7566666565.7560.11 · 1%
S264.56664.5665564.5664.50.57 · 4%
U16444444444444442.00 · 14%
U26555556155451112.14 · 15%

U2、K3、U1、C1、O3 五题占全部平均损失的 66.4%(上一版 64.7%)。逐题取 14 份中的最高分拼起来,上限也只有 95.5/100,有 4.5 分从未被任何一份拿到。

按波动分三类看:一是零区分度的固定损失,只有 U1——14 份机器分都是 3/5、裁判分都是 1/1,每份固定损失 2 分,对排序没有任何贡献;二是隐藏契约,U2 的 4 分机器分基本在“满分”与“全灭”之间二选一(9 份 4/4、4 份 0/4,另有 sonnet·kiro 一份 3/4);三是真正区分模型的题,看标准差:按标准差排前三的是 U2(1.85)、C1(1.08)、E3(0.90)。

脆弱检查项:几处“全员失分”需要先审计,再解读

检查项失分运行数拿满分者影响性质判断
K3 · group-614/14无6 组隐藏行为测试的最后一组,每份少 1 分题目极难,或检查器与题面有出入,数据分不开(U1 两项、O3 同理)
U1 · filter_behavior14/14无整题机器分 5 分,每份只拿 3同上
U1 · keyboard14/14无同上同上
O3 · group-612/14opus·首轮、sonnet·kiro同样是最后一组;另外 O3 裁判项(成功声明是否过度)13/14 为 0同上;裁判项几乎全员被判声明过度
C3 · structure13/14mimo多数差 0.25–0.5 分只有一份满分,说明检查器是可通过的
E1 · graph13/14mimo同上同上(同一份满分)
U2 · cleanup5/149 份单项 1 分U2 全灭的四份连带失分,另有 sonnet·kiro 单独只失这一项(U2 为 3/4)
U2 · artifact / build / tests4/1410 份一次扣掉 3–4 分,三项联动归零隐藏契约,见下
O2 · declared5/149 份小额非全员,属正常波动

U2:题面没写的契约

U2 题面要求:每条 li 带 data-item-id、标题转义、列表为原生语义、至少一个可聚焦控件、不隐藏文本、三档宽度不溢出、非法输入非零退出、每次构建清除旧产物。没有一句话说“li 的文本必须恰好等于标题”(本次直接读取题面核实)。但得 0 的四份产物都在 li 里放了 rank / status / priority 之类的元信息,而得分的 10 份里 li 只含标题文本(含 U2 为 3/4 的 sonnet·kiro)。已有的复现记录显示,冻结检查把 li 内全部文本拼接后与标题做精确比较,不通过就让 artifact、build、tests(以及多数情况下 cleanup)联动归零。这条检查规则来自此前的复现记录,本次没有重新复现;本次核实的是产物形态与得分的一一对应。

U2 得 0 的运行U2 机器分第一个 li 的文本(产物实读)
deepseek-flash0 / 4Urgent closed incident rank 5 · closed · priority 4
glm-5.30 / 4Urgent closed incident Rank: 5
step-5-preview0 / 4Urgent closed incident Rank 5 · Status closed · Priority 4 · ID e8bc16-3
MiniMax-M3.1-Flash-Preview0 / 4Urgent closed incident Status: closed Priority: 4 Rank: 5

把 U2 机器分对所有人补到满分,原来的后八份会落在 81.5–89(原为 79.5–85),deepseek-flash 从第 7 升到并列第 4。这只是敏感性试验,不是对成绩的修正。

还没做的核实:K3、U1、O3 最后一组检查的“全员失分”是题难还是检查器过严,要看检查器能不能被一份人工写的参考答案打到满分。这件事成本很低,却一直没做,建议排在任何重测之前。上一版把 C3 与 E1 也列为“几乎全员失分”,本版 mimo-v2.6-pro 在这两项都拿了满分,说明这两处检查器可以通过,审计范围可以缩小到 K3、U1、O3 与 U2。

效率核减:影响有限,但会改变中后段次序

按核减分降序。核减按各题相对基准的最大比值分档(≤1 全保留,≤2 留 95%,≤4 留 85%,>4 留 70%),只扣该题实得分。最大的三份是 glm-5.3 3.375 分、opus-5-5 · 二轮 2.862 分、opus-5-5 · 首轮 2.663 分。前六的核减在 0.200–2.862 分之间,其中 opus-5-5 二轮占了上限(2.862 分,C 档 2 题,U1 一题 15.6 分钟)。

模型任务用时(分)核减分效率档最慢一题名次变化(总分→核减后)
glm-5.358.23.375A10/B2/C4U1 · 16.2 分12 → 14
opus-5-5 · 二轮80.52.862A8/B6/C2U1 · 15.6 分5= → 6
opus-5-5 · 首轮37.62.663A10/B4/C2E2 · 10.3 分8 → 9
sonnet-5-5 · kiro-正式52.61.250A11/B5/C0U1 · 10.9 分3 → 4
MiniMax-M3.1-Flash35.21.200A11/B5/C0E2 · 5.9 分不变
deepseek-v4.1-flash33.30.900A12/B4/C0E3 · 5.0 分9 → 8
sonnet-5-5 · kiro22.00.736A13/B3/C0K3 · 2.1 分不变
deepseek-flash12.70.650A13/B3/C0U1 · 2.3 分不变
step-5-preview42.50.550A13/B3/C0U2 · 10.6 分13 → 12
mimo-v2.6-pro35.20.500A14/B2/C0U1 · 9.2 分4 → 3
MiniMax-M3.1-Flash-Preview25.80.250A14/B2/C0U2 · 10.5 分14 → 13
gpt-6.1-sol33.80.237A15/B1/C0E2 · 5.7 分5= → 5
gpt-6-astra30.80.200A15/B1/C0U1 · 6.3 分不变
sonnet-5-5 · cc38.00.200A15/B1/C0U1 · 6.3 分不变

核减让 9 份的名次发生变化:sonnet-5-5 · kiro-正式 3→4;mimo-v2.6-pro 4→3;gpt-6.1-sol 5=→5;opus-5-5 · 二轮 5=→6;opus-5-5 · 首轮 8→9;deepseek-v4.1-flash 9→8;glm-5.3 12→14;step-5-preview 13→12;MiniMax-M3.1-Flash-Preview 14→13。用时包含不同供应商的上游等待,拿来比模型速度并不公平。

运行可靠性:22 次启动只有 14 次有效

8 次作废全部来自运行环境与采集链路,不是模型答错;这些轮没有任何分数。上表“标记数”由逐条读取 trace 中 model_observer_error 事件、原因为 ambiguous_request_id 统计得到。

模型启动日触发原因(主因)trace 中“请求 ID 不唯一”标记数请求 / 响应处置
gpt-6-astra10-14上游过载(502 / 429)1317 / 3起跑后 10 分钟内 C1 无法推进,人工止损
gpt-6-astra10-14上游对大请求回空响应1894 / 7513 题已封存,S2 卡死,人工止损封存
gpt-6.1-sol10-16传输层抖动 → 客户端重试 → 请求 ID 重复192 / 9216 题交卷齐全,但 16 题全部协议无效
gpt-6.1-sol10-16同上125 / 23检出后人工止损
MiniMax-M3.1-Flash-Preview10-15同上1163 / 163跑完,16 题全部协议无效
MiniMax-M3.1-Flash10-20模型输出被截断 → 续写重发 → 请求 ID 重复1143 / 134第 12 题触发,人工止损
opus-5-510-19上游对复杂内容回空响应 → 重试 → 请求 ID 重复67 / 1起跑后约 3 分钟内连环失败,人工止损
sonnet-5-5(cc)10-16新上游拒收 thinking=disabled 形态(400)024 / 18前 5 题判基础设施不可用,停跑后修通道再重跑

一个需要正视的信号:8 次作废里有 7 次的 trace 出现了“请求 ID 不唯一”标记,占全部 22 次启动的 31.8%;其中以它为主因诊断的有 5 次(gpt-6.1-sol 两次、MiniMax-M3.1-Flash-Preview 一次、opus-5-5 一次、MiniMax-M3.1-Flash 一次),占 22.7%。另外两次(gpt-6-astra)的主因是上游降级,客户端重试把它放大成同类标记。这不是偶发:采集器对重试请求 ID 的处理,是目前最大的白跑来源。根治方案已有文档,据评测记录尚未批准、未实施、未经独立审查;在此之前,每次跑新模型仍有相当概率白跑一轮。

14 份有效成绩的 trace 校验错误列表均为空、证据链断点均为 0,没有一份带标记。另有几类上游事件被网关层吸收,没有影响任何一份有效成绩(据评测记录):deepseek-v4.1-flash 的三次 524 超时、opus-5-5 首轮一个渠道余额耗尽后的自动切换、gpt-6.1-sol 的一次 502。判据是该轮 trace 的请求与响应一一配对、无采集错误、失败后请求连续完成。

记录不一致:记录口径上有两处不一致,一并列出:一是 opus-5-5(10-19)与 MiniMax-M3.1-Flash(10-20)两份诊断都写自己是该缺陷“第 4 次命中”,按时间先后后者应是第 5 次;二是 opus-5-5(10-19)作废轮、MiniMax-M3.1-Flash 的作废轮及其有效重跑,在工程状态文档里都没有条目(本次逐条核对确认),MiniMax-M3.1-Flash 的有效成绩目前只存在于回执里。

逐份成绩要点

只写能从回执直接核对的事实,不做主观评语;标“据评测记录”的来自运行文档。满分题指机器分与裁判分都拿满,低分题指得分率低于 60%。

模型满分题数得分率<60% 的题要点
gpt-6-astra9无本批裁判,属自评样本。上下文与证据裁判分满分;机器分排第 6。S2 边界题机器分 1.5/3;Gate 2 项低危残留。
sonnet-5-5 · cc9无机器分 55.0,Gate 零残留。输出上限 8192,靠截断后续写完成(据评测记录)。
sonnet-5-5 · kiro-正式9无机器分 55.25,本批最高,Gate 零残留。五题落入 B 档,O3、U1、U2 单题耗时均超 300 秒。
mimo-v2.6-pro9无机器分 55.0;证据维度唯一 100%;C3、E1 机器分满分(全批仅此一份)。Gate 2 项低危残留。思考口径为“开启,未分级”。
gpt-6.1-sol6无裁判 35,与 cc、deepseek-flash、step-5-preview 并列。5 项低危残留文件。S2 机器分 1.5/3。
opus-5-5 · 二轮8无机器 54.0、裁判 34;交互维度最高(10/12)。用时 80.5 分钟,核减 2.862,C 档 2 题;Gate 零残留。
deepseek-flash9C1、U2用时最短(12.7 分钟)。U2 机器 0/4(li 含元信息)。机器 50.0、裁判 35;Gate 零残留。
opus-5-5 · 首轮5无裁判 31(与 deepseek-v4.1-flash 并列最低),机器 53.75。核减 2.663,C 档 2 题。
deepseek-v4.1-flash7C1裁判 31(并列最低),机器 53.0。Gate 1 项低危残留。运行期三次 524 被网关吸收。
sonnet-5-5 · kiro4无首轮,适配层构建标识与后 12 轮不同。E3 命令证据 2/4,U2 3/4。机器 50.34。
MiniMax-M3.1-Flash4C1第二次启动取得成绩(首次因输出截断后重发作废)。E3 2/4;机器 47.5,裁判 34;Gate 零残留。
glm-5.37U2用时 58.2 分钟,核减 3.375(最大),C 档 4 题。U2 机器 0/4。适配层构建标识同 sonnet·kiro 首轮。
step-5-preview5C1、U2机器 45.75,本批最低;裁判 35。U2 0/4、E3 2/4。
MiniMax-M3.1-Flash-Preview6C1、U2总分最低。U2 0/4、E3 2/4。同日首轮因请求 ID 重复作废,次轮取得成绩。

证据边界:这份报告不能支持什么

  • 不能当排名或认证。单 seed、单裁判、calibration_diagnostic;11 个模型里有 9 个只有一份成绩,没有重复测量,也没有人工盲评做对照。
  • 有效样本比表面少。14 份成绩来自 11 个模型,不是 14 个独立样本;同模型多轮之间也不独立(同一题包、同一裁判)。
  • 存活偏差。22 次启动里 8 次作废,作废与模型无关、与上游窗口和采集器有关,但“能跑完”本身筛选了样本,没有被分数覆盖的是跑不完的运行。
  • 不能跨版本横比。V4.1.5 及更早的分数口径不同,同一模型在不同版本里的数字不能放在一起读。
  • 不能把用时当模型速度。各份成绩走的供应商和通道不同,用时含上游排队与重试。
  • 运行器适配层构建不完全一致。sonnet-5-5 kiro 首轮与 glm-5.3 用的是同一个较早的适配层构建,其余 12 份用的是另一个构建;本报告没有验证两者对分数有无影响。
  • 不能下“裁判偏袒自己”的结论,也不能排除。现有数据只显示 astra 的裁判分优势集中在上下文与证据两个维度,且它的机器分只排第 6。
  • 不能判断“全员失分”的题是否合理。需要参考答案审计才能回答。
  • 不能拆出供应商、输出上限、思考参数各自的效应。它们在同模型多轮之间同时变化。
  • mimo-v2.6-pro 的“max”不是强度档位。思考口径只能写“开启”,不能与其他模型的 max 档直接对照。
  • 雷达图的边界。轴心为 40% 而非 0;安全、交互两轴只有 2 题;面积没有统计含义;形状会随同一模型的不同运行而变。

分层结论与建议

可以用
  • 看失分结构和能力形状:U2、K3、U1、C1、O3 的共性问题;雷达图回答“这一份弱在哪”。
  • 粗略的位置感:综合分高的一簇与低的一簇。
  • 核减与运行可靠性的逐份记录。
不要用
  • 单一名次,尤其是前六内部的先后。
  • 把机器分与裁判分加总后读成单一“能力值”。
  • “astra 最强”这类结论。
  • 据此做模型路由的唯一依据:前六相邻差距不超过 1 分,而同模型的运行间差距是 3.25–7.66 分。

建议的下一步(均未执行,需确认后再做)

顺序按成本与信息量排:P1 最便宜,且会决定后面的结论该不该信;P2 直接检验第一名的疑点;P3 才是量噪声;P4 降低白跑概率;P5 只是补账。

P1 · 用参考答案审计 K3、U1、O3 最后一组与 U2 的检查器

成本低。每题手写一份参考解,只读运行检查器,不调用任何模型 API,不改动冻结的题包;另用一份“li 只含标题”与一份“li 含元信息”的 U2 产物各跑一次,直接复现 U2 的精确比较规则。

验证参考解能否拿到该题机器满分;拿不到就说明检查器与题面有出入,需要走题包修订流程。U2 复现的结果与本报告“得 0 的四份恰是含元信息的四份”是否一致。

回滚产物只写在独立目录,删除即可,题包与历史回执保持原样。

P2 · 换一个裁判,对已封存的答卷离线重评

成本中。按回执里的裁判输入量,前六份合计约 41 万输入 token,14 份合计约 104 万;需新建裁判 revision 与独立命名空间,不覆盖旧回执。

验证看名次与裁判分在换裁判后是否保持;重点比较 astra 的 37 分是否仍领先,以及上下文、证据两个维度的优势是否还在。

回滚全部落在新命名空间,旧回执 sha256 不变,直接弃用新目录。

P3 · 对前六各补跑 2 个 seed,量出运行间噪声

成本高。单轮任务用时 13–80 分钟,加上作废率目前 36%,需先过路由门禁。

验证以同模型同供应商的分数标准差作为“可分辨差距”的下限,再回头判断前六内部能否排序。

回滚只读诊断数据,不影响任何已有成绩。

P4 · 修复采集器对重试请求 ID 的误判

成本中。属于 V4.3 代码改动,需要方案、独立审查与全量离线回归。8 次作废里 7 次带这一标记(占全部启动的 32%)。

验证在注入重试的测试里,整轮不再因单次重试而作废,同时歧义判定对真实重复仍然拦截。

回滚改动限定在采集器,可整体还原到修改前的实现哈希。

P5 · 补登记 MiniMax-M3.1-Flash 有效轮与 opus-5-5(10-19)作废轮

成本很低,只改文档。把有效成绩、数据根与回执哈希补进工程状态文档,并更正“第 4 次命中”的计数。

验证状态文档的对比列表与本报告表格逐项一致。

回滚仅文档增补,可直接撤销,不动任何回执。

数据来源与核对

全部数字由脚本直接读取 14 份 scored、machine、judge、candidate 回执计算:逐题机器分与裁判分、原子检查项、效率核减、Gate 摘要、trace 校验结果均未手工录入;总分、机器分、裁判分与核减后分均与已记录的运行文档逐项比对一致;核减后分直接取回执中的显示值,不二次舍入。

U2 产物形态(li 的文本结构)与 U2 题面是本次直接读取各运行的产出文件和题面核实的;“检查器按 li 文本精确比较”这条规则来自此前的复现记录,本次未重新复现。机器分与裁判分的相关系数、反事实名次均由同一份提取数据重算;作废轮的标记数由逐条读取 trace 事件统计。

核对中发现的记录问题:工程状态文档称 deepseek-flash 的 U2 0/4 是“首个全灭样本”,但回执显示 glm-5.3、step-5-preview、MiniMax-M3.1-Flash-Preview 更早已是 0/4,以回执为准;任务用时按回执为各题耗时之和,与运行文档里的 run wall 相差零点几分钟,以回执为准。

成绩scored 回执 sha256 前 16 位
gpt-6-astrabe88f5357d62999e
sonnet-5-5 · ccfbe06bb8e770250e
sonnet-5-5 · kiro-正式62d7d7214570b9d8
mimo-v2.6-pro47ca335f8e1550da
gpt-6.1-sol9aad491631a38ea0
opus-5-5 · 二轮e9244b9d122a3f0b
deepseek-flash1fa5afb9597ed977
opus-5-5 · 首轮7791c1c3341ff6cf
deepseek-v4.1-flashcc97bb29bcdf189c
sonnet-5-5 · kiro5dc58c3ec36ae633
MiniMax-M3.1-Flash6fdf58f190cb4ac2
glm-5.3e458e52ee2a4e4c9
step-5-preview4d622677833b43b2
MiniMax-M3.1-Flash-Preview72baa185e2454658

墨测 V4.3 candidate · 单 seed s1 · calibration_diagnostic,不计正式认证、不可排名 · 生成于 2026-10-21。上一版(10-16)页面保持原样。一切对外发布以独立审查与精确目标页回读为准。