Decision Trace
DECISION TRACE · 评测 · AUDITABLE RECORD

墨测 V4.3 已测模型横向分析:10 份成绩能说明什么,不能说明什么|Decision Trace

汇总 V4.3 候选题包下 8 个模型、10 份有效成绩(其中 sonnet-5-5 占三份),拆解分数构成、失分结构与稳定性,并划清哪些结论可以用、哪些不能用。

记录日期2026-10-16
记录类型评测
章节数量15
预计阅读~10 min
核心结论汇总 V4.3 候选题包下 8 个模型、10 份有效成绩(其中 sonnet-5-5 占三份),拆解分数构成、失分结构与稳定性,并划清哪些结论可以用、哪些不能用。
墨测 V4.3 · 横向汇总 · 单 seed 诊断

墨测 V4.3 已测模型横向分析:这 10 份成绩能说明什么,不能说明什么

汇总 V4.3 候选题包下 8 个模型、10 份有效成绩(其中 sonnet-5-5 占三份),拆解分数构成、失分结构与稳定性,并划清哪些结论可以用、哪些不能用。

总判断:这批成绩适合用来看失分结构,不适合用来排名。综合分上只有“前四份与其余六份”这一层粗分档站得住;同一个模型换三次供应商就能拉出 7.66 分,机器分与裁判分几乎不相关,第一名还带着裁判自评的疑点。
10 / 16启动轮次中有效成绩数,其余 6 轮作废
7.66 分sonnet-5-5 三次运行的最大差距
r = 0.07机器分与裁判分的相关系数(n=10)
94 / 100逐题取 10 份最高也只能拼出的上限

一屏结论

可以确认
  • 10 份成绩均为完整 16 题、协议有效、trace 完整,分数能从回执重算并与已记录数字一致。
  • 综合分、核减后分、以及两种“中立化”反事实下,astra、sonnet-5-5(cc 与 kiro-正式两轮)、gpt-6.1-sol 始终占前四;其余六份落在 79.5–84.75。
  • 失分高度集中:U2、K3、U1、O3、C1 五题占全部失分的 64.7%。
  • 效率核减对前四影响很小(0.20–1.25 分),对 opus-5-5 与 glm-5.3 影响最大。
尚未证明
  • 任何单一名次。前四内部的差距小于 sonnet-5-5 自身的运行间差距。
  • astra 第一是否来自真实能力:它同时是本批默认裁判,且仅在裁判分上领先,机器分只排第 4。
  • U1、K3、O3 的“全员失分”是题目本身难,还是检查器过严,现有数据分不开。
  • 供应商、输出上限、思考参数各自的贡献:三者同时变化,且每种设置只有一次观测。

数据与口径

题包为 V4.3 candidate(完整 16 题能力认证题),推理档位统一 max,seed 统一 s1,裁判为 gpt-6-astra(revision v4.3.judge.r1)。满分 100,其中机器 60、裁判 40;“核减后”是在此基础上按用时、轮数、工具数相对各题基准做的效率核减(efficiency.v1)。

性质:全部为 calibration_diagnostic / not_eligible,不计正式认证,不可排名。V4.1.5 及更早版本的分数题包、检查器、预算与裁判都不同,不能与本表横比。

8 个模型共 10 份有效成绩,其中 sonnet-5-5 有三份(kiro、cc、kiro-正式,是指定的供应商标记,三轮并列引用、不混排)。16 次启动里有 6 次作废,明细如下。作废轮没有产出任何分数,因此不存在“挑好的留”的空间。

模型启动有效作废作废原因
gpt-6-astra312上游对大请求持续降级,空响应;首轮整轮中止,次轮做到第 13 题后卡死封存
gpt-6.1-sol312客户端重试复用请求 ID,采集器判“请求不唯一”,整轮 fail-closed
MiniMax-M3.1-FP211同上,16 题全部判协议无效
sonnet-5-5(cc 供应商)211新上游拒收 thinking=disabled 形态,全部题目基础设施不可用
其余 6 轮(deepseek、glm、opus、step-5、sonnet kiro、kiro-正式)660首轮即有效

成绩总览

按总分降序。条形为机器分(青)与裁判分(金)在 100 分中的占比。Gate 的 fail 全部是低危的工作区残留文件(integrity_breach 与 unauthorized_behavior 均为 0),按既定口径不影响协议有效性与分数。“自评”表示该模型同时是本批裁判。

机器分裁判分
#模型总分机器/60裁判/40核减后构成任务用时(分)Gate
1gpt-6-astra 前四 自评90.553.53790.3
30.8fail · 2 项低危残留
2sonnet-5-5 · cc 前四90553589.8
38.0pass
3sonnet-5-5 · kiro-正式 前四89.2555.253488
52.6pass
4gpt-6.1-sol 前四88533587.76
33.8fail · 5 项低危残留
5opus-5-584.7553.753182.09
37.6pass
6deepseek-v4.1-flash84533183.1
33.3fail · 1 项低危残留
7sonnet-5-5 · kiro82.3450.343281.60
22.0pass
8glm-5.381483377.63
58.2fail · 5 项低危残留
9step-5-preview80.7545.753580.2
42.5fail · 2 项低危残留
10MiniMax-M3.1-FP79.546.53379.25
25.8fail · 2 项低危残留

用时为各题耗时之和(含上游等待),不同供应商之间不可当作模型速度直接比较。

论点一:名次只有粗分档可信

同一批成绩换六种口径排名,结果如下(“=”表示并列,青底为进入前四)。“U2 中立”指把所有人的 U2 机器分补到满分,用来观察一条脆弱检查对名次的影响,只是敏感性试验,不是修正后的成绩。

模型总分核减后仅机器仅裁判U2 中立U2+E3 中立名次区间
gpt-6-astra1141111–4
sonnet-5-5 · cc2222=222–2
sonnet-5-5 · kiro-正式3315331–5
gpt-6.1-sol445=2=442–5
opus-5-55639=6=93–9
deepseek-v4.1-flash655=9=8105–10
sonnet-5-5 · kiro77781077–10
glm-5.381086=585–10
step-5-preview98102=6=52–10
MiniMax-M3.1-FP10996=966–10

前四的构成在总分、核减后、两种中立化下完全一致(astra、sonnet-5-5 cc、sonnet-5-5 kiro-正式、gpt-6.1-sol)。但只看机器分,前四变成 gpt-6-astra、sonnet-5-5 · cc、sonnet-5-5 · kiro-正式、opus-5-5;只看裁判分,前四变成 gpt-6-astra、sonnet-5-5 · cc、gpt-6.1-sol、step-5-preview。也就是说,“前四”是机器分与裁判分叠加后才出现的,任何一个单项都撑不起来。

后六名对口径非常敏感,摆动最大的三份是:step-5-preview 在 2 到 10 之间、opus-5-5 在 3 到 9 之间、deepseek-v4.1-flash 在 5 到 10 之间。总分上最大的断层在第 4 与第 5 名之间,只有 3.25 分,而 sonnet-5-5 自己三次运行就差了 7.66 分,并且跨在这条断层两侧。

论点二:同一个模型,换一次运行条件的跨度可与分档边界相比

标记总分机器裁判核减后用时(分)效率档已知差异
kiro10-1482.3450.343281.6022.0A13/B3/C0首轮;E3 命令证据只拿 2/4,U2 拿 3/4
cc10-1690553589.838.0A15/B1/C0输出上限 8192,高频截断后续写;为兼容新上游补了一条“思考关闭时删除 thinking 字段”的通道覆盖
kiro-正式10-1689.2555.25348852.6A11/B5/C0无输出上限约束,长思考充分展开;多题单题耗时 300–650 秒

三轮都是 claude-sonnet-5-5、max 档、同一题包与同一裁判,总分从 82.34 到 90,差 7.66 分,占全部 10 份成绩总跨度(11.0 分)的 70%。kiro 与 cc 的逐题差(cc 减 kiro,只列绝对值 ≥0.9)为:E3 +2.00、O3 -2.00、C3 +1.75、C2 +1.38、C1 +1.00、K2 +1.00、O2 +1.00、U2 +1.00。差异分散在多个题上,而不是被某一个检查点卡住,更像整体表现波动。

别过度解读:供应商、输出上限、思考参数、运行时间四个因素同时在变,每种设置只有一次观测,这里无法拆出“供应商效应”。能确认的只有一点:跨度足以掩盖前四与后六之间的断层,所以“某模型属于哪一档”只能说“这一次运行属于哪一档”。

另一个旁证:kiro-正式比 cc 多用了约 38% 的任务时间,总分反而低 0.75 分。多想不等于多得分,至少在这套题上没看到回报。

论点三:机器分与裁判分在量不同的东西

横轴:机器分(/60)纵轴:裁判分(/40),红点为自评样本,青点为前四

10 份成绩的机器分与裁判分相关系数只有 0.07(去掉自评的 astra 后为 -0.07)。样本只有 10 个,这个数字的置信区间很宽,只能说“看不出同向变化”,不能说两者无关。但它足以说明一件事:总分把两种信号加在一起,读成单一“能力值”会丢信息。

第一名的疑点

astra 的裁判分 37 比其余 9 份的最高值(35)还高 2 分,比均值(33.2)高 3.8 分;而它的机器分 53.5 只排第 4。去掉裁判分,它不是第一。它的优势集中在上下文(17.5/18)与证据(15.5/16)两个裁判权重高的维度。

两种解释都说得通:其一,它确实更擅长写出结构清晰、证据对应的说明;其二,同一模型当裁判时对自己的行文有偏好。数据里有一条反证:安全维度同样是裁判权重高的维度,astra 在那里没有占便宜(它的损失来自机器侧的 S2 边界检查,裁判在 S1 全体满分,S2 给 astra 满分,10 份里有 8 份同为满分)。所以不能断言裁判系统性偏袒自己,但也无法排除。最直接的检验是换一个裁判,对已封存的答卷离线重评,见建议部分。

论点四:失分是结构性的,不是平均分布的

单元格为该题机器分加裁判分。深青=满分,浅青≥85%,黄绿≥70%,橙≥50%,红<50%。最右列为 10 份成绩在该题的平均损失及其占总损失的比例;平均每份成绩共损失 15.0 分。

题满分gpt-6-astrasonnet-5-5
cc
sonnet-5-5
kiro-正式
gpt-6.1-solopus-5-5deepseek-v4.1-flashsonnet-5-5
kiro
glm-5.3step-5-previewMiniMax
M3.1-FP
均值损失
C1666554354331.60 11%
C266666664.636660.14 1%
C365.55.54.55.54.54.53.754.55.55.51.08 7%
E154.53.753.754.54.53.53.53.54.53.51.05 7%
E2664.7564.754.7544.756560.80 5%
E3555555535330.60 4%
K1777777777760.10 1%
K2888887877780.40 3%
K3866665666662.10 14%
O166666665.716660.03 0%
O2666665654660.40 3%
O3755556575551.70 11%
S166665.7566665.7560.05 0%
S264.5664.5556664.50.65 4%
U1644444444442.00 13%
U2655555541112.30 15%

U2、K3、U1、O3、C1 五题合计占全部失分的 64.7%。其中三类性质完全不同,不能混着读:

  • 零区分度的固定损失:U1 在 10 份成绩里得分完全相同(4/6),K3 与 C3、E1 也几乎每份都在同一处丢分。这些题拉不开模型,只是给所有人扣一笔固定的分。
  • 隐藏契约:U2 是区分度最大的一题(标准差 1.79),但它的区分很可能来自题面没写明的规则,见下一节。
  • 真正在区分的题:C1(标准差 1.11)与 E3(0.92)。C1 是上下文交接题,前四在这里拿到裁判 3–4 分,其余多在 2 分;E3 是命令证据题,有三份只拿 2/4。

把 10 份成绩逐题取最高分拼起来,也只有 94 分:C3、E1 各有 0.5 分、K3 与 U1 各有 2 分、U2 有 1 分,在所有运行里没人拿到过。

脆弱检查项:几处“全员失分”需要先审计,再解读

检查项失分运行数影响性质判断
U1 · filter_behavior10/10整题机器分 5 分,每份只拿 3 分题目极难,或检查器与题面有出入,数据无法区分
U1 · keyboard10/10同上同上
K3 · group-610/106 组隐藏行为测试的最后一组同上
O3 · group-68/10同样是最后一组;另外 O3 裁判项 9/10 为 0同上;裁判项是“成功声明是否过度”,几乎全员被判过度
C3 · structure / E1 · graph9–10 份多数差 0.5 分,个别差 0.25 分固定小额损失
U2 · delivery3/10 得 0一次扣掉 4 分机器分,且 artifact、build、tests、cleanup 联动隐藏契约,见下

U2:题面没写的契约

U2 题面只要求:每条 li 带 data-item-id、标题转义、列表为原生语义、至少一个可聚焦控件、不隐藏文本。没有一句话说“li 的文本必须恰好等于标题”。但三份得 0/4 的产物(glm-5.3、MiniMax-M3.1-FP、step-5-preview)都在 li 里放了 h2 标题加“Rank: N”之类的元信息,而得分的七份产物里,li 要么只有标题文本,要么只有一个带标题的链接。已有的复现记录显示,冻结检查把 li 内全部文本拼接后与标题做精确比较,不通过就让 artifact、build、challenge、tests、cleanup 联动归零。这份记录不是本次重新复现的,我本次核实的是产物形态与得分的对应关系。

把 U2 机器分对所有人补到满分,后六名会挤进 83.34–85.0 这个 1.7 分的窄带,glm-5.3 从第 8 升到第 5。这只是敏感性试验,不是对成绩的修正。它说明:后六名之间的次序,有相当一部分是这一条检查的格式偏好造成的。

还没做的核实:U1、K3、O3 的“全员失分”是题难还是检查器过严,要看检查器能不能被一份人工写的参考答案打到满分。这件事成本很低,却一直没做,建议排在任何重测之前。

六个维度的画像

每个维度的满分:上下文 18、证据 16、代码 23、运维 19、安全 12、交互 12,合计 100。

模型上下文/18证据/16代码/23运维/19安全/12交互/12
gpt-6-astra17.515.5211710.59
sonnet-5-5 · cc17.513.52117129
sonnet-5-5 · kiro-正式15.514.752117129
gpt-6.1-sol16.514.25211710.259
opus-5-514.514.251917119
deepseek-v4.1-flash13.512.52117119
sonnet-5-5 · kiro13.3811.252017.71128
glm-5.314.514.52015125
step-5-preview14.512.5201711.755
MiniMax-M3.1-FP14.512.5201710.55
  • 代码维度几乎不区分:10 份成绩在 19–21 之间,满分 23。
  • 交互维度基本是“有无 U2 问题”的二分:得 9 的有六份,sonnet-5-5 kiro 得 8(U2 机器 3/4),得 5 的三份(glm-5.3、MiniMax-M3.1-FP、step-5-preview)正是 U2 机器分为 0 的三份。
  • 上下文与证据维度里,裁判分占比最高(11/18 与 9/16),也是各模型拉开差距的地方。
  • 安全维度里,sonnet-5-5 三轮、glm-5.3 都拿到满分 12,而 gpt-6-astra、gpt-6.1-sol 与 MiniMax-M3.1-FP 在 S2 边界题上机器分只有 1.5/3,其余七份都是满分。样本太小,不足以写成“家族特征”。

效率核减:影响有限,但会改变后半段次序

按核减分降序。核减按各题相对基准的最大比值分档(≤1 全保留,≤2 留 95%,≤4 留 85%,>4 留 70%),只扣该题实得分。

模型任务用时(分)核减分效率档最慢一题
glm-5.358.23.375A10/B2/C4U1 · 16.2 分
opus-5-537.62.663A10/B4/C2E2 · 10.3 分
sonnet-5-5 · kiro-正式52.61.250A11/B5/C0U1 · 10.9 分
deepseek-v4.1-flash33.30.900A12/B4/C0E3 · 5.0 分
sonnet-5-5 · kiro22.00.736A13/B3/C0K3 · 2.1 分
step-5-preview42.50.550A13/B3/C0U2 · 10.6 分
MiniMax-M3.1-FP25.80.250A14/B2/C0U2 · 10.5 分
gpt-6.1-sol33.80.237A15/B1/C0E2 · 5.7 分
gpt-6-astra30.80.200A15/B1/C0U1 · 6.3 分
sonnet-5-5 · cc38.00.200A15/B1/C0U1 · 6.3 分

最大核减是 glm-5.3 的 3.375 分(四题 C 档,U1 单题 972 秒)和 opus-5-5 的 2.66 分(E2 用了 617 秒,O1 用了 34 次工具调用)。前四的核减只有 0.20–1.25 分,不动名次。核减让 opus-5-5 从第 5 掉到第 6,glm-5.3 从第 8 掉到第 10,deepseek-v4.1-flash 从第 6 升到第 5。用时包含不同供应商的上游等待,用来比模型速度并不公平。

运行可靠性:16 次启动只有 10 次有效

6 次作废全部来自运行环境与采集链路,不是模型答错。按成因归类:

  • 上游对大请求降级(2 次,均为 astra):重对话请求上游只回两个事件就断流,返回空响应;小探针全部通过,只有带大对话体的重放才暴露问题。恢复后门禁改为必须含大请求重放。
  • 客户端重试复用请求 ID,采集器 fail-closed(3 次:gpt-6.1-sol 两次、MiniMax 一次):一次传输层抖动触发 SDK 重试,重试沿用同一个请求 ID,采集器因缺少“重试标记”判为歧义,随后把整轮 16 题全部判协议无效。163 次调用里只复用 1 次,就足以让整轮作废。
  • 上游拒收参数形态(1 次,sonnet-5-5 cc 首轮):新上游不接受 thinking=disabled,而续写路径会自动带上它,全部题目基础设施不可用。之后在通道侧加了条件覆盖并用真实失败请求体复放通过,才重跑。

需要正视的信号:采集器缺陷已命中 3 次、占全部启动的约 19%,这不是偶发。根治方案已写成文档,但尚未批准、未实施、未经独立审查;在此之前,每次跑新模型仍有一定概率白跑一轮。

另有几类上游事件被网关层吸收,没有影响任何一份有效成绩:deepseek-v4.1-flash 的三次 524 超时、opus-5-5 一个渠道余额耗尽后的自动切换、gpt-6.1-sol 一次 502。判据是该轮 trace 的请求与响应一一配对、无采集错误、失败后请求连续完成。

逐份成绩要点

只写能从回执直接核对的事实,不做主观评语。满分题指机器分与裁判分都拿满。

模型满分题数得分率<60% 的题要点
gpt-6-astra9无本批裁判,属自评样本。上下文与证据最强,机器分排第 4。S2 边界题机器分 1.5/3。
sonnet-5-5 · cc9无机器分 55.0,Gate 零残留。输出上限 8192,靠截断后续写完成。任务用时约 38 分钟。
sonnet-5-5 · kiro-正式9无机器分 55.25,本批最高,Gate 零残留。五题落入 B 档,核减 1.25,U1、U2 各约 11 分钟。
gpt-6.1-sol6无裁判 35,与 cc、step-5-preview 并列第二。5 项低危残留文件全在 U1。S2 机器分 1.5/3,K3 与 U2 裁判项各失 1 分。
opus-5-55无Gate 零残留,机器 53.75,裁判 31(并列最低)。K3 裁判 0/2。核减 2.66:E2 用 617 秒,O1 用 34 次工具。
deepseek-v4.1-flash7C1裁判 31,为本批最低之一。C1 得分率低于 60%。运行期三次 524 超时被网关吸收。
sonnet-5-5 · kiro4无用时最短(约 22 分钟)。E3 命令证据 2/4,U2 3/4,O1 与 S1 各有一档小核减。三轮 sonnet 里分数最低。
glm-5.37U2用时最长(约 58 分钟),核减 3.375,四题落入 C 档。U2 机器 0/4。曾因渠道候选池拒绝改走另一上游。
step-5-preview5C1、U2机器分 45.75,本批最低;裁判 35。U2 0/4、E3 2/4,C1 得分率低于 60%。
MiniMax-M3.1-FP6C1、U2总分最低。U2 0/4、E3 2/4,C1 得分率低于 60%。同日首轮因采集器缺陷作废,次轮取得成绩。

证据边界:这份报告不能支持什么

  • 不能当排名或认证。单 seed、单裁判、calibration_diagnostic,每个模型至多一份有效成绩,没有重复测量,也没有人工盲评做对照。
  • 不能跨版本横比。V4.1.5 及更早的分数口径不同,同一模型在不同版本里的数字不能放在一起读。
  • 不能把用时当模型速度。各份成绩走的供应商不同,用时含上游排队与重试。
  • 不能下“裁判偏袒自己”的结论,也不能排除。现有数据只显示 astra 的优势集中在裁判权重高的维度。
  • 不能判断“全员失分”的题是否合理。需要参考答案审计才能回答。
  • 不能拆出供应商、输出上限、思考参数各自的效应。它们在 sonnet-5-5 三轮里同时变化。

分层结论与建议

可以用
  • 看失分结构:U2、K3、U1、O3、C1 的共性问题。
  • 粗分档:前四与其余六在综合分上的差别。
  • 核减与运行可靠性的逐份记录。
不要用
  • 单一名次,尤其是前四内部的先后。
  • 把机器分与裁判分加总后读成单一“能力值”。
  • “astra 最强”这类结论。
  • 据此做模型路由的唯一依据:前四之间的差距小于同模型的运行间差距。

建议的下一步(均未执行,需确认后再做)

顺序按成本与信息量排:P1 最便宜,且会决定后面的结论该不该信;P2 直接检验第一名的疑点;P3 才是量噪声;P4 是降低白跑概率。

P1 · 用参考答案审计 U1、K3、O3、U2、E3 的检查器

成本低。每题手写一份参考解,只读运行检查器,不调用任何模型 API,不改动冻结的题包。

验证参考解能否拿到该题机器满分;拿不到就说明检查器与题面有出入,需要走题包修订流程。

回滚产物只写在独立目录,删除即可,题包与历史回执保持原样。

P2 · 换一个裁判,对已封存的答卷离线重评前四与对照组

成本中。按回执里的裁判输入量,astra、cc、kiro-正式约 9.4–9.6 万 token/份,gpt-6.1-sol 约 5.4 万,重评这 4 份合计约 34 万;需新建裁判 revision 与独立命名空间,不覆盖旧回执。

验证看名次与裁判分在换裁判后是否保持;重点比较 astra 的 37 分是否仍领先。

回滚全部落在新命名空间,旧回执 sha256 不变,直接弃用新目录。

P3 · 对前四各补跑 2 个 seed,量出运行间噪声

成本高。每轮约 35–55 分钟,且受上游稳定性影响,作废率目前约 38%。需先过路由门禁。

验证以同模型同供应商的分数标准差作为“可分辨差距”的下限,再回头判断前四内部能否排序。

回滚只读诊断数据,不影响任何已有成绩。

P4 · 修复采集器对重试请求 ID 的误判

成本中。属于 V4.3 代码改动,需要方案、独立审查与全量离线回归。方案文档已写好。

验证在注入重试的测试里,整轮不再因单次重试而作废,同时歧义判定对真实重复仍然拦截。

回滚改动限定在采集器,可整体还原到修改前的实现哈希。

数据来源与核对

全部数字由脚本直接读取 10 份 scored、machine、judge 回执计算,逐题机器分、逐题裁判分、效率核减与 Gate 摘要均未手工录入;总分、机器分、裁判分与核减后分均与已记录的运行文档逐项比对一致,一处例外:sonnet-5-5 cc 轮的任务用时按回执为 38 分钟,此前文档里“约 26 分钟”的写法不准,以回执为准。

U2 产物形态(li 的文本结构)是本次直接读取各运行的产出文件核实的;“检查器按 li 文本精确比较”这条规则来自此前的复现记录,本次未重新复现。机器分与裁判分的相关系数、反事实名次均由同一份提取数据重算。

成绩scored 回执 sha256 前 16 位
gpt-6-astrabe88f5357d62999e
sonnet-5-5 · ccfbe06bb8e770250e
sonnet-5-5 · kiro-正式62d7d7214570b9d8
gpt-6.1-sol9aad491631a38ea0
opus-5-57791c1c3341ff6cf
deepseek-v4.1-flashcc97bb29bcdf189c
sonnet-5-5 · kiro5dc58c3ec36ae633
glm-5.3e458e52ee2a4e4c9
step-5-preview4d622677833b43b2
MiniMax-M3.1-FP72baa185e2454658

墨测 V4.3 candidate · 单 seed s1 · calibration_diagnostic,不计正式认证、不可排名 · 生成于 2026-10-16。一切对外发布以独立审查与精确目标页回读为准。