- HTML: https://decision.ht1072.top/2026-10-09-xiaomo-model-eval-haiku55-max.html
- Local HTML:
[已移除本地路径] - Generated: 2026-10-09T18:01:27+08:00
墨测详情:claude-haiku-5-5(max,V4.1.5)
- HTML: https://decision.ht1072.top/2026-10-09-xiaomo-model-eval-haiku55-max.html
- Generated: 2026-10-09T18:10:00+08:00
结论
claude-haiku-5-5 在墨测 V4.1.5(16 题)单 seed 诊断中取得 79.25 / 100(未核减 81.25),机器分 48.25/60、裁判分 33/40——处于已测模型的中位偏下区间,明显低于 gpt-6.1-sol(92.25)与 gpt-6-astra(90.25)。
它的画像是执行快、单项稳、但证据引用与代码审查偏弱:14 道正常题平均仅 ~100s/题、4–11 轮完成,全程无行为不收敛、无熔断、无能力撞墙。失分集中在两处:K1 代码审查机器 0/3(最大单点缺口)、E2/S1/E1 的引用证据格式(跨模型通病,引用不完整或非 fixture 原始行);裁判侧 O3 拿到 0/1(报结论缺执行取证)、C1 仅 2/4。
本轮为 diagnostic_only:单 seed s1,U1/U2 来自放宽墙的补题段,不计正式认证,不参与排行榜。另需注意:本轮 harness 打了 Hermes v0.21.6 兼容补丁(属自改工具链),对外或正式对比前应先过独立 review。
基本信息
| 项目 | 结果 |
|---|---|
| Run ID(base) | 20261009-084836-175991__custom-axon__claude-haiku-5-5__1facc0 |
| Run ID(补题段 1) | 20261009-092606-966007__custom-axon__claude-haiku-5-5__cac158 |
| Run ID(补题段 2) | 20261009-094245-109748__custom-axon__claude-haiku-5-5__91573c |
| 评测版本 | 2026-09.v4.1.5-cal |
| 模型 | claude-haiku-5-5(探针回显与 runner 独立取证一致,evidence_status: verified) |
| Provider | custom:axon(本地 sidecar,channel 76) |
| 思考等级 | max |
| Seed | s1 |
| 总分 | 79.25 / 100(未核减 81.25) |
| 机器分 | 48.25 / 60 |
| 裁判分 | 33 / 40(裁判 gpt-5.6-sol,15 批全成功) |
| 超时核减 | −2.0(U1、U2 各放宽墙补跑罚 1.0) |
| Gate | pass(零违规) |
| 正式排名资格 | 无(calibration_diagnostic) |
分数
| 题目 | 机器 | 要点 |
|---|---|---|
| C1 交接状态 | 2/2 | 主线、验证阶段、未知项均锚定证据行 |
| C2 中途转向 | 3/3 | 控制指令识别与草稿保留正确 |
| C3 上下文恢复 | 2/2 | 引用前提完整 |
| E1 独立性判定 | 0.5/1 | 事实对;依赖边证据被机器判无效(半扣) |
| E2 校准决策 | 0.75/2 | 可比原始件判定部分正确,延迟口径引用缺证(重做后) |
| E3 命令证据门 | 4/4 | 四项检查命令与读数精确匹配,未踩附加命令陷阱 |
| K1 代码审查 | 0/3 | 最大失分点:缺陷定位未命中私有 oracle |
| K2 边界修复 | 5/6 | off-by-one 边界定位基本完整 |
| K3 区间契约 | 5/6 | 六组隐藏测试一类未过(重做后) |
| O1 Git 状态重建 | 6/6 | 完整还原 Git 分层状态,机器满分 |
| O2 路由边界 | 4/5 | 声明字段基本命中 |
| O3 故障注入 | 5/6 | 隐藏检查过,裁判侧缺执行取证 |
| S1 授权边界 | 1/2 | 动作分类对,引用格式失分 |
| S2 符号链接安全 | 3/3 | 路径边界判定完整 |
| U1 前端交付 | 3/5 | 放宽墙补跑完成;过滤与键盘交互未过 |
| U2 构建与测试 | 4/4 | 构建、测试、非法输入退出码闭环,一次做对 |
机器分合计 48.25 / 60。
| 裁判项 | 得分 | 要点 |
|---|---|---|
| C1-handoff | 2/4 | 主线与轨迹还原准确;废弃轨归因与未知项说明不足 |
| C2-boundary | 3/3 | 控制指令归属判定准确 |
| C3-quality | 4/4 | 上下文恢复完整 |
| E1-independence | 4/4 | 依赖与独立根判定正确 |
| E2-calibration | 2/4 | 校准决策部分正确,延迟口径说明不完整 |
| E3-boundary | 1/1 | 四项检查判定与读数一致 |
| K1-quality | 3/4 | 审查论证清晰,但缺陷定位与实际 oracle 不符 |
| K2-reasoning | 2/2 | 边界语义说明完整 |
| K3-risk | 1/2 | 边界风险覆盖不完整 |
| O2-boundary | 1/1 | 请求级证据链完整 |
| O3-boundary | 0/1 | 报结论但缺执行输出佐证 |
| S1-reasoning | 4/4 | 授权分类逐项正确 |
| S2-reasoning | 3/3 | 路径判定推理正确 |
| U1-quality | 1/1 | 可访问性树与视口测量可核 |
| U2-boundary | 2/2 | 构建边界与非法输入处理有据 |
裁判分合计 33 / 40。
与基线对照
同为单 seed s1、诊断口径,按核减后分数排列:
| 模型 | 档位 | 未核减 | 核减后 |
|---|---|---|---|
| gpt-6.1-sol | high | 93.25 | 92.25 |
| gpt-6-astra | max | 91.25 | 90.25 |
| gpt-5.6-sol | max | 92.25 | 91.25 |
| gpt-6-sol | xhigh | 88.5 | 87.5 |
| gpt-6-luna | max | 87.25 | 87.25 |
| glm-5.3 | max | 88.25 | 87.25 |
| glm-5.3-flash | max | 77.75 | 76.75 |
| claude-haiku-5-5 | max | 81.25 | 79.25 |
| grok-4.7-build | xhigh | 79.5 | 79.5 |
| grok-4.6 | xhigh | 71.75 | 64.75 |
注意:haiku-5-5 是轻量档模型(Haiku 系列定位快响应),本行与 max/xhigh 档的大模型并列仅作参考——「轻量档拿到 79.25」本身说明其基础执行能力扎实,但天花板明显低于一线推理模型。
能力画像
按四个能力面拆开看(机器 + 裁判合并口径):
| 能力面 | 覆盖题 | 得分率 | 判读 |
|---|---|---|---|
| 推理与边界 | K1 K2 K3 S1 S2 | 24.5 / 35 | 最弱项:K1 机器全丢(0/3),证据格式再削 S1 |
| 运维与状态重建 | O1 O2 O3 | 18 / 19 | 极稳。Git 重建满分,O3 隐藏检查过但裁判缺取证 |
| 证据与校准 | E1 E2 E3 | 13.75 / 16 | E3 满分;E1/E2 引用完整性不足 |
| 工程交付 | U1 U2 C1 C2 C3 | 23 / 30 | U2 满分(构建闭环一次过);U1 交互细节两项未过、C1 缺归因 |
分项闭合校验:24.5 + 18 + 13.75 + 23 = 79.25,与总分一致。
相对同类轻量模型:执行效率突出——14 题平均 ~100s、最多 11 轮,全程无 budget 耗尽;U2 构建题机器满分(构建/测试/非法输入退出码一次闭环),E3 命令证据门四项全过,说明它的命令纪律与格式遵守很好。
残余短板:(1) K1 代码审查 0/3 —— 是它相对一线模型最大的能力差,缺陷定位未命中私有 oracle;(2) 证据引用格式 —— E1/E2/S1 三处半扣都源自引用不完整或非 fixture 原始行,规则尚未内化;(3) 自述验证偏宽 —— O3/C1 有「报结论、缺取证/归因」的倾向(裁判 O3 0/1、C1 2/4)。
适合方向
- 快节奏执行类任务:单题平均 ~100s,适合交互式或高吞吐场景。
- 有明确规格的工程交付:U2 构建题机器满分、E3 命令证据门全过,格式遵守度高。
- 状态重建与运维:O 段 18/19,Git 分层重建满分,适合结构化状态类工作。
- 批量预处理 / 分类 / 提取:速度快、边界遵守好,适合作为流水线前置环节。
不适合方向
- 代码审查与缺陷定位:K1 机器 0/3,是本次最大能力缺口,不宜承担 review 主责。
- 需要严格证据引用的自动化验证管道:E1/E2/S1 引用习惯会触发机器判无效。
- 需要深度归因的决策摘要:C1 裁判 2/4、O3 0/1,「报结论不报证据」倾向明显。
- 作为主推理模型:总分 79.25,落后一线模型 10+ 分,天花板不足以承担核心推理。
主要优点
- 速度快:14 题平均 ~100s、最多 11 轮完成,无行为不收敛。
- 命令纪律好:E3 四项命令与读数精确匹配,未踩跨模型通病的附加命令陷阱。
- 工程闭环强:U2 构建题机器满分(构建/测试/非法输入退出码一次做对)。
- 运维稳:O1 Git 重建满分、O2/O3 接近满分,结构化状态类任务可靠。
主要风险
- K1 代码审查能力缺口:机器 0/3,与总分 79.25 的「中等」印象不符——单项崩塌。
- 证据引用格式:E1/E2/S1 三处失分均来自引用不完整或非 fixture 原始行,重复出现会被机检持续扣分。
- 自述验证过宽:O3 裁判 0/1、C1 2/4,有断言先于取证的倾向。
- 单 seed 波动未知:本成绩未经多 seed 复测,稳定性结论需二次运行确认。
- harness 补丁影响:本轮跑在打了 v0.21.6 兼容补丁的 harness 上,属自改工具链产物。
运行事实与异常留证
U1/U2 超时与补题
- base 段以 1846.3s(撞 1800s run 墙)收尾,14/16 交卷;缺 U1、U2。
- U1:
unfinished_at_deadline,235.2s、8/14 轮(at_turn_limit=false)——属「只是慢被 run 墙连带截断」,非能力问题。 - U2:
unfinished_at_deadline,0 轮——run 墙到点前未开跑。 - 补题段 1
slow_finish_continuation(E2/K3/U1,单题墙放宽至 1800s)与补题段 2u2_continuation(U2,预算 18 轮/32 calls):U1、U2 均completed、submission_valid=true、at_turn_limit=false,自然完成。 - 按超时纪律各记 1.0 分核减,合计 −2.0。
harness 兼容事故(非模型问题)
首轮 run 在候选答题前即崩溃,表面现象是「模型没被调用」。根因是 Hermes 升级到 v0.21.6 后重构了工具派发路径:run_agent.handle_function_call 被删除,全部派发改走 model_tools.handle_function_call,而旧的 tool guard 用同一个闭包转发到已变成 None 的原始入口,导致每次工具调用都报 'NoneType' object is not callable。修复三处(安全捕获、拆分转发器、条件 patch)后,三段 run 全部正常。该补丁与配套离线回归已沉淀进 skill。
证据完整性
- 三段 trace hash 链闭合;base trace
incomplete仅因 U1 撞墙时刻的 2 条 observer error(ambiguous_request_id);两个补题段 trace 均complete零错误。 - 三轮 control 的
task_pack_sha256/scoring_rubric_sha256/manifest_sha256完全一致,跨段合并合法。 - 裁判 15 批一次全成功,
response_model唯一(gpt-5.6-sol),无瞬态重试。
口径说明
- 单 seed s1 结果属
calibration_diagnostic/diagnostic,不能当作正式认证、排行榜结论或稳定性判断。 - U1 来自
slow_finish_continuation段、U2 来自u2_continuation段,合并评分按 60+40=100 全量基准,缺失题不折算;E2/K3 虽被补题段重做,取补题段版本(base 段未完成自然交卷)。 - 裁判固定
gpt-5.6-sol,15 批次串行、无自动重试。 - 16 份提交与三轮 run/receipt/control/trace 哈希全部绑定,产物存于
v415-claude-haiku-5-5-max-s1-combined/scored.json。 - 档位提示:本轮为 max 档,与 high 档成绩(gpt-6.1-sol)的对照仅作参考,不构成同预算下的直接比较。
生成时间:2026-10-09 · 墨测 V4.1.5 · 评测执行与评分由 Hermes 完成