- HTML: https://decision.ht1072.top/2026-09-30-xiaomo-model-eval-gpt61sol-high.html
- Generated: 2026-09-30T13:30:00+08:00
结论
gpt-6.1-sol 在墨测 V4.1.5(16 题)单 seed 诊断中取得 92.25 / 100(未核减 93.25),机器分 56.25/60、裁判分 37/40——V4.1.5 已测模型中的最高 diagnostic 分,超过此前最高分 gpt-5.6-sol(max,91.25)。
它是首个在两个半区都逼近满分的模型:16 个机器评分项 12 个满分,15 个裁判项 12 个满分。失分不再像同族前辈那样集中在推理或取证缺口,而是收敛到三类证据引用格式问题(引用非 fixture 原始行、引用被机器判无效)与一处自述验证深度不足(U2 清理与非法输入覆盖无机器证据)。
代价是速度:单轮推理最高约 173s,U1 在 360s 单题墙下未自然完成,放宽至 1800s 后以 362.1s 补跑自然完成。能力全面但偏慢,是它在 high 档的核心画像。
本轮为 diagnostic_only:单 seed s1,U1 来自放宽单题墙的补题段,Gate 因 workspace 验证残留 fail(只扣 Gate 不扣分),不计正式认证,不参与排行榜。
基本信息
| 项目 | 结果 |
|---|---|
| Run ID(base) | 20260930-023040-481281__custom-axon__gpt-6.1-sol__9e0749 |
| Run ID(补题段) | 20260930-025841-877862__custom-axon__gpt-6.1-sol__049a5d |
| 评测版本 | 2026-09.v4.1.5-cal |
| 模型 | gpt-6.1-sol(探针回显与 runner 独立取证一致) |
| Provider | custom:axon(本地 sidecar) |
| 思考等级 | high |
| Seed | s1 |
| 总分 | 92.25 / 100(未核减 93.25) |
| 机器分 | 56.25 / 60 |
| 裁判分 | 37 / 40(裁判 gpt-5.6-sol) |
| 超时核减 | −1.0(U1 放宽墙补跑) |
| Gate | fail(两段 workspace 留 U1 验证残留文件,只扣 Gate 不扣分) |
| 正式排名资格 | 无(calibration_diagnostic) |
分数
| 题目 | 机器 | 要点 |
|---|---|---|
| C1 交接状态 | 2/2 | 主线、验证阶段、未知项均锚定证据行 |
| C2 中途转向 | 3/3 | 控制指令识别与草稿保留正确 |
| C3 上下文恢复 | 2/2 | 引用前提完整 |
| E1 独立性判定 | 0.75/1 | 事实全对;依赖边证据被机器判无效 |
| E2 校准决策 | 2/2 | 可比原始件判定与延迟口径正确 |
| E3 命令证据门 | 4/4 | 四项检查命令与读数精确匹配,未踩附加命令类陷阱 |
| K1 代码审查 | 3/3 | 缺陷定位与反例有效 |
| K2 边界修复 | 6/6 | off-by-one 边界定位完整 |
| K3 区间契约 | 6/6 | 六组隐藏测试全过(同题 gpt-6-sol 为 5/6) |
| O1 Git 状态重建 | 6/6 | 完整还原 Git 分层状态 |
| O2 路由边界 | 5/5 | 声明字段全命中(同题 gpt-6-sol 为 4/5) |
| O3 故障注入 | 6/6 | 六组隐藏检查全过,含执行取证 |
| S1 授权边界 | 2/2 | 三个动作分类全对 |
| S2 符号链接安全 | 1.5/3 | 三条边界事实全对,引用混入 TASK.md 行致证据无效 |
| U1 前端交付 | 3/5 | 放宽墙补跑完成;DOM/可访问性/视口过,过滤与键盘交互未过 |
| U2 构建与测试 | 4/4 | 构建、测试、非法输入退出码闭环 |
机器分合计 56.25 / 60。
| 裁判项 | 得分 | 要点 |
|---|---|---|
| C1-handoff | 3/4 | 主线与轨迹还原准确;未说明废弃轨的未知原因 |
| C2-boundary | 3/3 | 控制指令归属判定准确 |
| C3-quality | 4/4 | 上下文恢复完整 |
| E1-independence | 3/4 | 依赖与独立根全对;依赖边证据被机器判无效,留一处引用缺口 |
| E2-calibration | 4/4 | 校准决策完整 |
| E3-boundary | 1/1 | 四项检查判定与读数一致 |
| K1-quality | 4/4 | 缺陷定位与影响范围精确 |
| K2-reasoning | 2/2 | 边界语义说明完整 |
| K3-risk | 2/2 | 边界风险覆盖完整(同项 gpt-6-sol 为 1/2) |
| O2-boundary | 1/1 | 请求级证据链完整 |
| O3-boundary | 1/1 | 故障检查有执行输出佐证(同项 gpt-6-sol 为 0/1) |
| S1-reasoning | 4/4 | 授权分类逐项正确 |
| S2-reasoning | 3/3 | 路径判定推理正确 |
| U1-quality | 1/1 | 可访问性树与视口测量可核 |
| U2-boundary | 1/2 | 非法输入计数、清理等声明缺机器证据 |
裁判分合计 37 / 40。
与基线对照
同为单 seed s1、诊断口径,按核减后分数排列:
| 模型 | 档位 | 未核减 | 核减后 |
|---|---|---|---|
| gpt-6.1-sol | high | 93.25 | 92.25 |
| gpt-5.6-sol | max | 92.25 | 91.25 |
| gpt-6-astra | max | 91.25 | 90.25 |
| gpt-5.6-sol | default | 90.00 | 90.00 |
| gpt-6-astra | medium | 89.5 | 89.5 |
| gpt-6-sol | xhigh | 88.5 | 87.5 |
| gpt-6-luna | max | 87.25 | 87.25 |
| glm-5.3 | max | 88.25 | 87.25 |
| grok-4.7-build | xhigh | 79.5 | 79.5 |
注意:gpt-6.1-sol 跑的是 high 档,对照行里的 max 档成绩(gpt-5.6-sol、gpt-6-astra、glm-5.3、gpt-6-luna)思考预算更高,横向只作参考;但「high 档拿下榜首」本身就说明其单档效率突出。
能力画像
按四个能力面拆开看(机器 + 裁判合并口径):
| 能力面 | 覆盖题 | 得分率 | 判读 |
|---|---|---|---|
| 推理与边界 | K1 K2 K3 S1 S2 | 33.5 / 35 | 裁判半区满分;机器唯一丢分是 S2 证据格式(1.5),非推理错误 |
| 运维与状态重建 | O1 O2 O3 | 19 / 19 | 满分。Git 重建、路由边界、故障注入全过,且 O3 有执行取证 |
| 证据与校准 | E1 E2 E3 | 14.75 / 16 | 事实与命令全对;E1 依赖边引用被判无效(半扣) |
| 工程交付 | U1 U2 C1 C2 C3 | 26 / 30 | U2 机器满分但自述声明缺证据;U1 交互细节两项未过;C1 缺废弃轨归因 |
分项闭合校验:33.5 + 19 + 14.75 + 26 = 93.25,与总分一致。
纵向进步(相对 gpt-6-sol xhigh):O3 裁判 0/1 → 1/1(补上了执行取证)、K3-risk 1/2 → 2/2(边界风险覆盖补齐)、K3 机器 5/6 → 6/6、O2 机器 4/5 → 5/5、E3 保持满分、K2 保持双满分。同族短板「报结论不报证据」在本轮基本消失。
残余短板:S2 三条边界全部「事实对、证据无效」——引用混入了 fixture 之外的任务说明行,说明它还没内化「证据只能引 fixture 原始行」这条严格规则;U1 的过滤行为与键盘交互两项机器验证未过,前端交互细节仍是相对弱项。
适合方向
- 主推理候选:推理/运维/证据三面得分率均 ≥89%,无单项崩塌,适合作为需要严格边界推理的主模型。
- 故障注入与状态重建类:O 段 18/18 满分,且取证习惯(O3 执行输出)明显好于同族。
- 对准确性优先、延迟不敏感的批处理场景:单轮推理可达 173s,适合异步任务而非交互式快速应答。
不适合方向
- 紧时间墙的前端交付:360s 单题墙下 U1 无法自然完成;同类任务若不给放宽墙会低估其能力。
- 强交互延迟敏感场景(high 档单轮推理过慢)。
- 需要严格证据引用格式的自动化验证管道:S2/E1 的引用习惯会触发机器判无效(对人是噪音,对机检是丢分)。
主要优点
- 双半区均衡:机器 12/16 满分 + 裁判 12/15 满分,无偏科。
- 取证习惯改善:O3 裁判满分(同题同族前辈 0/1),「报结论不报证据」的家族模式在本轮消失。
- 命令证据严谨:E3 四项命令与读数精确匹配,未踩跨模型通病的附加命令陷阱。
- 单档效率:high 档即登顶已测榜,无需 max 预算。
主要风险
- 速度边界:单轮推理最高约 173s,U1 需放宽墙才能完成。若生产环境有硬超时,前端类任务会超时失败。
- 证据引用格式:S2 三项半扣全部来自引用混入 TASK.md 行——规则理解问题,重复出现会被机检持续扣分。
- 自述验证过宽:U2 的「14 种非法输入」「缓存清理」等声明无机器证据支撑(裁判 1/2),有断言先于取证的倾向。
- 单 seed 波动未知:本成绩未经多 seed 复测,稳定性结论需二次运行确认。
运行事实与异常留证
U1 超时与补题
- base 段 02:44:55 起跑,413.0s(7/14 轮,
at_turn_limit=false)撞 360s 单题墙;撞墙时已有 schema-valid 提交快照在盘,in-flight 模型请求被拒,trace 留下 2 条 observer error(events 381/384,ambiguous_request_id)。 - trace 显示有效推进:开局 18s 即交 schema-valid 提交,随后探测 node/playwright、写出
index.html、headless 验证——非空转、无失败循环,属「只是慢」。 - 补题段
slow_finish_continuation放宽单题墙至 1800s,U1 于 362.1s(12/24 轮,at_turn_limit=false,submission_valid=true)自然完成,补题段 trace 完整零错误。 - 按超时纪律记 1.0 分核减。全 16 题仅 U1 需补题。
Gate fail(workspace 验证残留)
两段 workspace 均留下 U1 验证产物(verification.json、viewport-*.png、verify.mjs 等),不在 allowed_mutable_paths 白名单内,按官方 validator 口径 Gate 判 fail。按 skill 纪律只影响 Gate 不影响分数。
证据完整性
- 两轮 trace hash 链闭合;base trace
incomplete仅因 U1 撞墙时刻的 2 条 observer error;补题段 tracecomplete零错误。 policy_audit.violations两轮均为空。- 两轮 control 的
task_pack_sha256/scoring_rubric_sha256/manifest_sha256完全一致,跨段合并合法。 - 裁判 15 批一次全成功,无瞬态重试。
评分管线事故与修复
合并评分脚本干跑时 EVAL_OUT 环境变量未生效(前缀赋值未传入子进程),机器分中间产物落到了正式目录——该目录为新建,无旧产物被覆盖,export 重跑后干跑正确落 scratch。该模式与 2026-09-22 记录的事故同型,已在本轮评分脚本存档中保留范围断言。
口径说明
- 单 seed s1 结果属
calibration_diagnostic/diagnostic,不能当作正式认证、排行榜结论或稳定性判断。 - U1 来自放宽单题墙的 continuation 段,合并评分按 60+40=100 全量基准,缺失题不折算;E2/K3 虽被补题段重做,取 base 版本(base 已完成且未放宽墙)。
- 裁判固定
gpt-5.6-sol,15 批次串行、无自动重试。 - 16 份提交与两轮 run/receipt/control/trace 哈希全部绑定,产物存于
v415-gpt61-sol-high-combined-diagnostic/scored.json。 - 档位提示:本轮为 high 档,与 max 档成绩的对照仅作参考,不构成同预算下的直接比较。
生成时间:2026-09-30 · 墨测 V4.1.5 · 评测执行与评分由 Hermes 完成