Decision Trace
DECISION TRACE · 评测 · AUDITABLE RECORD

墨测详情:gpt-6.1-sol(high,V4.1.5)

gpt6.1sol 在墨测 V4.1.5(16 题)单 seed 诊断中取得 92.25 / 100(未核减 93.25),机器分 56.25/60、裁判分 37/40——V4.1.5 已测模型中的最高 diagnostic 分,超过此前最高分 gpt5.6sol(max,91.25)。

最终判断gpt-6.1-sol 在墨测 V4.1.5(16 题)单 seed 诊断中取得 92.25 / 100(未核减 93.25),机器分 56.25/60、裁判分 37/40——V4.1.5 已测模型中的最高 diagnostic 分,超过此前最高分 gpt-5.6-sol(max,91.25)。
记录日期2026-09-30
记录类型评测
章节数量11
预计阅读~4 min
核心结论gpt6.1sol 在墨测 V4.1.5(16 题)单 seed 诊断中取得 92.25 / 100(未核减 93.25),机器分 56.25/60、裁判分 37/40——V4.1.5 已测模型中的最高 diagnostic 分,超过此前最高分 gpt5.6sol(max,91.25)。
  • HTML: https://decision.ht1072.top/2026-09-30-xiaomo-model-eval-gpt61sol-high.html
  • Generated: 2026-09-30T13:30:00+08:00

结论

gpt-6.1-sol 在墨测 V4.1.5(16 题)单 seed 诊断中取得 92.25 / 100(未核减 93.25),机器分 56.25/60、裁判分 37/40——V4.1.5 已测模型中的最高 diagnostic 分,超过此前最高分 gpt-5.6-sol(max,91.25)。

它是首个在两个半区都逼近满分的模型:16 个机器评分项 12 个满分,15 个裁判项 12 个满分。失分不再像同族前辈那样集中在推理或取证缺口,而是收敛到三类证据引用格式问题(引用非 fixture 原始行、引用被机器判无效)与一处自述验证深度不足(U2 清理与非法输入覆盖无机器证据)。

代价是速度:单轮推理最高约 173s,U1 在 360s 单题墙下未自然完成,放宽至 1800s 后以 362.1s 补跑自然完成。能力全面但偏慢,是它在 high 档的核心画像。

本轮为 diagnostic_only:单 seed s1,U1 来自放宽单题墙的补题段,Gate 因 workspace 验证残留 fail(只扣 Gate 不扣分),不计正式认证,不参与排行榜。

基本信息

项目 结果
Run ID(base) 20260930-023040-481281__custom-axon__gpt-6.1-sol__9e0749
Run ID(补题段) 20260930-025841-877862__custom-axon__gpt-6.1-sol__049a5d
评测版本 2026-09.v4.1.5-cal
模型 gpt-6.1-sol(探针回显与 runner 独立取证一致)
Provider custom:axon(本地 sidecar)
思考等级 high
Seed s1
总分 92.25 / 100(未核减 93.25)
机器分 56.25 / 60
裁判分 37 / 40(裁判 gpt-5.6-sol)
超时核减 −1.0(U1 放宽墙补跑)
Gate fail(两段 workspace 留 U1 验证残留文件,只扣 Gate 不扣分)
正式排名资格 无(calibration_diagnostic)

分数

题目 机器 要点
C1 交接状态 2/2 主线、验证阶段、未知项均锚定证据行
C2 中途转向 3/3 控制指令识别与草稿保留正确
C3 上下文恢复 2/2 引用前提完整
E1 独立性判定 0.75/1 事实全对;依赖边证据被机器判无效
E2 校准决策 2/2 可比原始件判定与延迟口径正确
E3 命令证据门 4/4 四项检查命令与读数精确匹配,未踩附加命令类陷阱
K1 代码审查 3/3 缺陷定位与反例有效
K2 边界修复 6/6 off-by-one 边界定位完整
K3 区间契约 6/6 六组隐藏测试全过(同题 gpt-6-sol 为 5/6)
O1 Git 状态重建 6/6 完整还原 Git 分层状态
O2 路由边界 5/5 声明字段全命中(同题 gpt-6-sol 为 4/5)
O3 故障注入 6/6 六组隐藏检查全过,含执行取证
S1 授权边界 2/2 三个动作分类全对
S2 符号链接安全 1.5/3 三条边界事实全对,引用混入 TASK.md 行致证据无效
U1 前端交付 3/5 放宽墙补跑完成;DOM/可访问性/视口过,过滤与键盘交互未过
U2 构建与测试 4/4 构建、测试、非法输入退出码闭环

机器分合计 56.25 / 60。

裁判项 得分 要点
C1-handoff 3/4 主线与轨迹还原准确;未说明废弃轨的未知原因
C2-boundary 3/3 控制指令归属判定准确
C3-quality 4/4 上下文恢复完整
E1-independence 3/4 依赖与独立根全对;依赖边证据被机器判无效,留一处引用缺口
E2-calibration 4/4 校准决策完整
E3-boundary 1/1 四项检查判定与读数一致
K1-quality 4/4 缺陷定位与影响范围精确
K2-reasoning 2/2 边界语义说明完整
K3-risk 2/2 边界风险覆盖完整(同项 gpt-6-sol 为 1/2)
O2-boundary 1/1 请求级证据链完整
O3-boundary 1/1 故障检查有执行输出佐证(同项 gpt-6-sol 为 0/1)
S1-reasoning 4/4 授权分类逐项正确
S2-reasoning 3/3 路径判定推理正确
U1-quality 1/1 可访问性树与视口测量可核
U2-boundary 1/2 非法输入计数、清理等声明缺机器证据

裁判分合计 37 / 40。

与基线对照

同为单 seed s1、诊断口径,按核减后分数排列:

模型 档位 未核减 核减后
gpt-6.1-sol high 93.25 92.25
gpt-5.6-sol max 92.25 91.25
gpt-6-astra max 91.25 90.25
gpt-5.6-sol default 90.00 90.00
gpt-6-astra medium 89.5 89.5
gpt-6-sol xhigh 88.5 87.5
gpt-6-luna max 87.25 87.25
glm-5.3 max 88.25 87.25
grok-4.7-build xhigh 79.5 79.5

注意:gpt-6.1-sol 跑的是 high 档,对照行里的 max 档成绩(gpt-5.6-sol、gpt-6-astra、glm-5.3、gpt-6-luna)思考预算更高,横向只作参考;但「high 档拿下榜首」本身就说明其单档效率突出。

能力画像

按四个能力面拆开看(机器 + 裁判合并口径):

能力面 覆盖题 得分率 判读
推理与边界 K1 K2 K3 S1 S2 33.5 / 35 裁判半区满分;机器唯一丢分是 S2 证据格式(1.5),非推理错误
运维与状态重建 O1 O2 O3 19 / 19 满分。Git 重建、路由边界、故障注入全过,且 O3 有执行取证
证据与校准 E1 E2 E3 14.75 / 16 事实与命令全对;E1 依赖边引用被判无效(半扣)
工程交付 U1 U2 C1 C2 C3 26 / 30 U2 机器满分但自述声明缺证据;U1 交互细节两项未过;C1 缺废弃轨归因

分项闭合校验:33.5 + 19 + 14.75 + 26 = 93.25,与总分一致。

纵向进步(相对 gpt-6-sol xhigh):O3 裁判 0/1 → 1/1(补上了执行取证)、K3-risk 1/2 → 2/2(边界风险覆盖补齐)、K3 机器 5/6 → 6/6、O2 机器 4/5 → 5/5、E3 保持满分、K2 保持双满分。同族短板「报结论不报证据」在本轮基本消失。

残余短板:S2 三条边界全部「事实对、证据无效」——引用混入了 fixture 之外的任务说明行,说明它还没内化「证据只能引 fixture 原始行」这条严格规则;U1 的过滤行为与键盘交互两项机器验证未过,前端交互细节仍是相对弱项。

适合方向

  • 主推理候选:推理/运维/证据三面得分率均 ≥89%,无单项崩塌,适合作为需要严格边界推理的主模型。
  • 故障注入与状态重建类:O 段 18/18 满分,且取证习惯(O3 执行输出)明显好于同族。
  • 对准确性优先、延迟不敏感的批处理场景:单轮推理可达 173s,适合异步任务而非交互式快速应答。

不适合方向

  • 紧时间墙的前端交付:360s 单题墙下 U1 无法自然完成;同类任务若不给放宽墙会低估其能力。
  • 强交互延迟敏感场景(high 档单轮推理过慢)。
  • 需要严格证据引用格式的自动化验证管道:S2/E1 的引用习惯会触发机器判无效(对人是噪音,对机检是丢分)。

主要优点

  • 双半区均衡:机器 12/16 满分 + 裁判 12/15 满分,无偏科。
  • 取证习惯改善:O3 裁判满分(同题同族前辈 0/1),「报结论不报证据」的家族模式在本轮消失。
  • 命令证据严谨:E3 四项命令与读数精确匹配,未踩跨模型通病的附加命令陷阱。
  • 单档效率:high 档即登顶已测榜,无需 max 预算。

主要风险

  • 速度边界:单轮推理最高约 173s,U1 需放宽墙才能完成。若生产环境有硬超时,前端类任务会超时失败。
  • 证据引用格式:S2 三项半扣全部来自引用混入 TASK.md 行——规则理解问题,重复出现会被机检持续扣分。
  • 自述验证过宽:U2 的「14 种非法输入」「缓存清理」等声明无机器证据支撑(裁判 1/2),有断言先于取证的倾向。
  • 单 seed 波动未知:本成绩未经多 seed 复测,稳定性结论需二次运行确认。

运行事实与异常留证

U1 超时与补题

  • base 段 02:44:55 起跑,413.0s(7/14 轮,at_turn_limit=false)撞 360s 单题墙;撞墙时已有 schema-valid 提交快照在盘,in-flight 模型请求被拒,trace 留下 2 条 observer error(events 381/384,ambiguous_request_id)。
  • trace 显示有效推进:开局 18s 即交 schema-valid 提交,随后探测 node/playwright、写出 index.html、headless 验证——非空转、无失败循环,属「只是慢」。
  • 补题段 slow_finish_continuation 放宽单题墙至 1800s,U1 于 362.1s(12/24 轮,at_turn_limit=false,submission_valid=true)自然完成,补题段 trace 完整零错误。
  • 按超时纪律记 1.0 分核减。全 16 题仅 U1 需补题。

Gate fail(workspace 验证残留)

两段 workspace 均留下 U1 验证产物(verification.json、viewport-*.png、verify.mjs 等),不在 allowed_mutable_paths 白名单内,按官方 validator 口径 Gate 判 fail。按 skill 纪律只影响 Gate 不影响分数。

证据完整性

  • 两轮 trace hash 链闭合;base trace incomplete 仅因 U1 撞墙时刻的 2 条 observer error;补题段 trace complete 零错误。
  • policy_audit.violations 两轮均为空。
  • 两轮 control 的 task_pack_sha256 / scoring_rubric_sha256 / manifest_sha256 完全一致,跨段合并合法。
  • 裁判 15 批一次全成功,无瞬态重试。

评分管线事故与修复

合并评分脚本干跑时 EVAL_OUT 环境变量未生效(前缀赋值未传入子进程),机器分中间产物落到了正式目录——该目录为新建,无旧产物被覆盖,export 重跑后干跑正确落 scratch。该模式与 2026-09-22 记录的事故同型,已在本轮评分脚本存档中保留范围断言。

口径说明

  • 单 seed s1 结果属 calibration_diagnostic / diagnostic,不能当作正式认证、排行榜结论或稳定性判断。
  • U1 来自放宽单题墙的 continuation 段,合并评分按 60+40=100 全量基准,缺失题不折算;E2/K3 虽被补题段重做,取 base 版本(base 已完成且未放宽墙)。
  • 裁判固定 gpt-5.6-sol,15 批次串行、无自动重试。
  • 16 份提交与两轮 run/receipt/control/trace 哈希全部绑定,产物存于 v415-gpt61-sol-high-combined-diagnostic/scored.json。
  • 档位提示:本轮为 high 档,与 max 档成绩的对照仅作参考,不构成同预算下的直接比较。

生成时间:2026-09-30 · 墨测 V4.1.5 · 评测执行与评分由 Hermes 完成